深度学习大数据平台如何应用液冷散热技术引领遥感测绘发展？

目前随着高性能计算、生命科学、地质遥感、遥感测绘、数据分析、数据挖掘、蛋白质折叠、基因工程、医疗影像等快速发展，当今社会朝着信息化发展，依托网络信息技术和无处不在的传感器、微处理器，每一个人、每一个部门、每一种行业都会以数据的形式被储存，我们已经处于一个“大数据”的时代。

在大数据处理平台的建设以及基于平台的日志分析过程中，会遇到如下问题：

扩展性

当日志数据量达到一定限度之后，无论是日志数据存储、分析、查询，都会受到极大的限制，系统的横向扩展性的能力将是系统建设的重要考量之一。

价格

系统的横向扩展，必然会带来软件、硬件成本的增加，以及后期升级、维护、扩展成本的投入也是系统扩展面临的挑战。

性能

日志数据急剧膨胀动辄达到几十 TB、甚至上百 TB，面对如此海量的数据， 若要进行高效 SQL 的计算、分析，为业务提供有效的指导，必须要满足业务允许的时间要求。

平台的易用性

数据处理平台易用性也是系统建设的关键问题，能否提供一个简单、方便为上层应用使用的平台，或者可以将现有应用方便迁移到新建设的大数据平台也是面临的挑战。平台的易用性将直接影响到平台的建设、应用的建设将直接影响工作成本。

在建立分析模型的过程中，需要对参数进行合理的配置组合，同时也需要随着业务的发展不断完善。蓝海大脑通过多年的努力，成功研制出机柜冷板式、浸没式两种液冷散热解决方案，具有高性能、高密度、扩展性强、低碳绿色节能等特点。液冷机柜支持4~8台液冷服务器，每台液冷服务器支持1~16块 GPU显卡，适用于深度学习训练及推理、生命科学、医药研发、虚拟仿真等场景，液冷解决方案覆盖服务器、水冷工作站、数据中心等多种产品形态。蓝海大脑大数据平台主要包括智能分析工具和数据智能开发两部分。智能分析工具作为数据资源和应用开发的中间环节，为算法模型、知识、服务等资源的集成和管理提供支持。数据智能开发基于智能分析工具，开展大数据融合挖掘典型应用。

 

智能分析工具

智能分析工具作为连接数据资源和应用开发的纽带，是实现时空信息服务资源、信息共享和服务统筹的基础。面向多领域环境图像识别、自然语言处理等人工智能开发应用需求，主要通过支撑工具集框架、模型算法开发、数据语义提取和标注、样本数据库制作、智能图像识别分析算法集、综合检索服务、智能推荐工具集、自然语言处理分析工具集，完成智能分析服务、工具集、算法集、模型集的构建，为信息融合和应用开发提供平台工具支持，形成智能分析处理开发和应用服务。
 

智能分析工具建设具体包括以下内容:

智能分析框架

采用微服务架构，支持常用的模型计算框架。通过模型管理、模型部署、模型二次开发、模型评估、通用算法和自定义算法等功能模块，形成一个灵活性强、可靠性高、兼容性好、响应能力快的智能模型服务支撑框架。

算法开发

采用互联网通用的大数据挖掘、建模和预测技术。通过构建模型算法开发工具、资源组件拼接、参数配置和优化、模型算法迭代学习和通用分析算法集五大功能模块，形成大数据计算分析模型的一站式构建、共享、训练、部署和监控，实现各级人员快速自主的大数据计算分析目的。

样本制作与管理

根据典型特征识别、重点目标识别和综合检索模型学习对大量样本标注输入的需求，通过样本制作与管理、典型特征识别与变化检测的样本库、重点目标识别与变化监测的样本库、语料标注样本库提供样本标注工具，从而形成对多源异构样本的有效组织、管理和维护，解决典型特征识别、重点目标识别和综合检索模型学习的样本缺乏和制作时间长的问题。

智能图像识别分析

采用智能图像处理技术和机器学习方法。通过典型地物智能提取与变化检测、重点目标智能提取与变化检测、专题图制备、多源DSM通用提取与检测四种分析算法，形成典型地物自动提取与变化监测能力，解决了人工提取典型地物与变化监测工作量大、时间长的问题。

自然语言处理与分析

为环境、测绘、气象、导航、地理、地质等领域的数据提供快速、准确、大规模、自动化的自然语言处理工具。通过句子语义理解模块、信息分类聚类模块、关键词观点提取模块和实体专业领域识别模块。

综合检索

采用智能全文检索技术，提供时空大数据索引库、时空大数据关联词库、智能综合检索工具、空间数据全局搜索引擎和智能问答，形成时空大数据综合检索能力。

智能推荐

采用成熟推荐技术的发展和应用成果，分析研究不同用户的兴趣、爱好和行为，利用智能推荐算法进行时空数据的智能推荐，提高时空数据的精准、主动智能服务功能，解决快速增长的时空数据利用率低、时效性差的问题。

知识图谱构建

采用自然语言处理、机器学习、深度学习、关系网络分析、图计算等技术。基于自然语言处理等支撑工具，构建时空大数据知识图谱平台。通过模型构建、知识提取、知识融合、知识推理等过程。支持典型领域和方向的时空大数据知识图谱构建，支持时空大数据智能推荐等应用。

数据智能

数据智能开发面向数据和人工智能的应用保障需求。基于统一的数据服务和工具集，构建大数据智能开发框架，开发重点目标智能识别与监测分析、典型特征智能提取与融合、基于大数据的时空环境分析、时空环境知识图谱等四大数据融合挖掘典型应用，丰富和提升成果数据，实现时空环境大数据服务体系能力形成，为大数据服务体系智能数据输出提供前端应用接口，提供建设中的网络信息。

数据智能开发建设内容包含以下内容：

数据智能开发框架

采用基于微服务的架构设计，支持使用统一的数据支持工具，为桌面端和Web数据应用开发提供统一支持。

重点目标智能识别、监控和分析子系统

采用大数据、人工智能、机器学习等技术。并基于多源时空数据和大数服务系统的支撑工具集和数据开发框架，通过对重点目标的智能识别定位、重点目标的监控分析、目标的立体观测，形成对重点目标的快速识别定位、广域全时监控和立体监控的能力，达到全面了解目标的能力。判断目标的潜力及时发现和查明预警信息，准确分析时空环境，实时掌握时空态势，从而达到准确高效保障时空环境的目的。

典型地物智能提取与融合子系统

采用深度学习技术。通过样本数据库制作和模型算法研发，构建典型地物智能提取与融合应用子系统，形成典型地物识别与监测、专题数据制作等能力。可解决地面地物识别慢、自动化程度低、智能动态监测程度低、响应不及时等问题，为复杂行动提供多种专题数据和基于多因素的综合分析评估。

基于大数据的时空环境分析子系统

以机器学习自动获取遥感信息、多光谱遥感影像等关键技术为基础，构建了时空环境现状数据准备、环境态势时空演变分析与预测等典型应用场景模块。

时空知识图谱构建子系统

采用自然语言处理、机器学习、深度学习、关系网络分析、图计算等技术。通过只是提取、数据语义提取和标注、本体库构建地图表达等流程，实现空间数据与文本、图片、互联网信息等非空间数据的关联、交流和可视化表达，构建典型目标知识图谱，为其他应用系统提供联合分析能力，解决数据利用率低、关联分析弱的问题。

 

蓝海大脑大数据平台硬件搭建

蓝海大脑深度学习大数据平台是由蓝海大脑推出的一款面向多源空间数据生产的数据处理平台，该平台集成存储、计算和数据处理软件，旨在为大数据时代的行业用户提供一个低成本的数据处理平台，利用其高效、易操作、低成本、多层次扩展和快速部署等显著优势，在测绘、农业、林业、水利、环保等领域提升用户图像处理能力，减少投资成本，高效应对大数据挑战，促成业务突破和转型。

主要技术指标

可 靠 性：平均故障间隔时间MTBF≥15000 h

工作温度：5～40 ℃

工作湿度：35 %～80 %

存储温度：－40～55 ℃

存储湿度：20 %～90 %

声       噪：≤35dB

产品特点：

基于统一的整体架构，采用先进成熟可靠的技术与软硬件平台，保证基础数据平台易扩展、易升级、易操作、易维护等特性。基于业界热门，且领先的 Spark 技术，极速提高平台的整体计算性能。

随着新的业务需求的不断产生，支持基础数据模型、应用分析模型、前端应用的扩展性；支持在统一系统架构中服务器、存储、I/O 设备等的可扩展性。 

制定并实施基础数据平台高可用性方案、运行管理监控制度、运行维护制度、故障处理预案等，保证系统在多用户、多节点等复杂环境下的可靠性。 

高效性包含两方面内容，一方面系统需要在规定时间内完成数据写入操作，并将数据写入对数据分析的影响降到最低；另一方面系统需要实现规划要求的数据查询和统计分析速度。

数据质量贯穿基础数据平台系统建设的每个环节，基础数据平台系统通过合理的数据质量管理解决方案保证数据质量。 

具有超强影像处理能力，每天（24小时）可处理多达500景对（全色和多光谱）高分一号影像数据；

广泛适用于基础测绘、农业、林业、水利、环保等领域，适合常规模式下测绘产品生产和应急模式下快速影像图生成。

针对大数据原始技术存在的问题，蓝海大脑大数据平台从企业应用角度出发，对 Apache Hadoop 进行了系列技术开发，形成了适应企业级应用的一站式大数据平台——蓝海大脑，从而使这一理论框架更能满足各类企业用户的要求：

超大数据的分布式存储、流数据实时计算要求

满足大数据的高并发、低延迟查询请求

分布式应用系统异常故障时，业务切换

系统线性扩展时，无需增加开发工作，实现无成本扩展

有良好的人机接口灵活多样的展现方式，需要对最终用户提供适当的培训就可以方便地使用新的分析工具，从而减少 IT 人员的工作量，同时加强了集群监管的时效性。

系统要有统一的管理平台, 管理基础数据平台系统的各个环节，能对系统进行相应的性能管理和日志监控。 

按国家标准、行业标准、安全规范等实现数据安全管理。