Speaker
军 韩
(国家天文台)
Description
FAST是世界上最大的单口径射电望远镜，随着漂移扫描巡天的开展，每天都会产生数百T的观测数据。对于这些海量数据的处理，我们必须面对多种软件处理环境的构建冲突、软件故障的快速恢复、系统可快速扩展等一系列问题，这对我们后续的科学数据处理与研究提出了挑战。 经过调查与研究，我们提出采用云计算的方法进行处理，采用容器技术对软件进行封装，采用kubernetes技术构建云环境，并为数据处理方式专门构建了多种模型以实现高效的处理。数据处理模型不但可以进行自动化的数据处理、故障恢复等能力，同时还可以根据需求自动匹配计算资源，对计算机资源进行了高效的利用。这种技术方法很好的解决了海量数据处理中的多种问题，并在FAST数据处理当中进行了应用，同时对未来SKA等天文大数据的处理也具有重要的借鉴意义。
Primary author
军 韩
(国家天文台)
