每日一课 | 智慧灯杆中之大数据存储及管理技术

 

3．大数据存储及管理技术

（1）大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。

（2）开发新型数据库技术。数据库分为关系型数据库、非关系型数据库及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为键值数据库、列存数据库、图存数据库及文档数据库等。关系型数据库包含传统关系数据库系统及NewSQL数据库。

（3）开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。