第十九届全国科学计算与信息化会议

海量多源异构空间科学数据高效可视化管理

16 Jul 2019, 18:10

20m

丹霞厅 (遵义世纪柏源酒店)

数据处理软件与分析方法 数据处理与物理软件I

Speaker

Mr 志文 刘 (中科院空间应用工程与技术中心)

Description

随着空间科学技术的快速发展和飞行平台的长期在轨运行，采集的空间科学数据（不仅仅遥感影像）越来越多，已日渐成为空间科学、地科学等多学科研究的重要数据源。针对空间科学数据的多源、异构、多时相、多尺度等一系列特征，如何有效的组织与管理海量多源异构空间科学数据，提高数据的可用性和安全性，成为空间信息科学领域重要研究内容之一。 在调研现有空间科学数据管理技术及数据特征的基础上，提出并设计了一种有效的系统组织架构，综合利用关系型和分布式相结合的数据库技术，实现海量异构数据的高效检索与定位，基于三维数字地球模型，采用多层次细节展示、三维数据剪裁、多线程并行加载等技术，提高了空间科学数据的可视化展示与应用效率，最后实现了海量多源异构空间科学数据可视化组织与管理系统。 首先，提出并设计了基于MVC（Model View Controller）的系统组织架构，分为数据层、服务层和应用层。数据层是整个系统正常运行的基础，提供多源、异构、多时相、多尺度的原始数据及属性信息文件；服务层是整个架构组织的核心层，针对数据查询、提取、加载、显示等要求，利用多线程池处理机制，快速响应并发的数据服务请求；应用层是整个系统的人机交互接口，基于统一的应用服务接口，提供高效的空间科学数据可视化管理操作。 其次，针对空间科学数据结构差异大，利用空间关系数据库与分布式NoSQL数据库相结合的方式构建数据管理服务，实现整个系统的空间数据的高效管理。采用定时器与触发器机制，在指定的时间或情况下，按深度优先遍历算法检测新增的数据文件，对每一个数据文件都开启一个线程进行处理，实现并行化数据自动入库；建立元数据库，通过空间位置信息等属性快速定位数据；采用分片机制对系统进行动态横向扩展， 增加了系统的存储容量和吞吐量；同时数据分散在复制集与分片上，保证了数据安全性及高可用性。 再次，针对空间科学数据的重要数据之一——遥感影像数据，利用LOD无缝镶嵌方法，将空间数据与空间尺度和位置以及可视化关联起来，形有基于三维数字地球的空间位置标识和空间对象标识，更加直观、高效的管理遥感影像数据。为减少影像加载时占用的系统资源开销，提高读取及可视化速度，利用影像缩略图及其金字塔模型、线程池和数据裁剪等多重机制确保可视化显示的效率。 最后，完成了基于三维地球的空间科学数据可视化管理系统的功能集成。系统已成功应用于载人航天空间应用任务天宫一号、天宫二号的空间科学数据管理中，集成整合了约35TB的空间环境探测数据、高分辨率遥感影像、空间矢量数据等多类型数据，实现三维地球空间中的海量多源异构空间科学数据的快速可视化查询、定位、下载等管理功能，为海量多源异构空间科学数据的分发服务提供有力的技术保障。