1. IE browser is NOT supported anymore. Please use Chrome, Firefox or Edge instead.
2. If you are a new user, please register to get an Indico account through https://login.ihep.ac.cn/registIndico.jsp. Any questions, please email us at helpdesk@ihep.ac.cn or call 88236855.
3. If you need to create a conference in the "Conferences, Workshops and Events" zone, please email us at helpdesk@ihep.ac.cn.
4. The max file size allowed for upload is 50 Mb.

面向大科学装置的高性能数据流处理框架DSNI

Aug 11, 2022, 3:06 PM
2m

Speaker

Dr Haiyun Teng (IHEP)

Description

通过研究谱仪类大科学装置,如同步辐射光源和散裂中子谱仪的运作和数据流特征,对状态监测和数据处理业务进行抽象建模和流式适配。突破传统的基于文件方式的数据传输和分析瓶颈,以高性能分布式数据传输平台和自研分析平台承载各类中子谱仪数据流,聚合不同来源的测量数据和其他实验参量,为谱仪实验提供基于数据驱动的高性能准实时数据流处理平台。最终实现信息域深度挖掘、智能化运维管理和准实时性的数据分析,帮助谱仪从各种多模态实验方法中准确鉴别和定位测量信号量,为新兴的大数据实验方法提供基本支撑。

Summary

作为研究物质微观结构和动力学性质的基础工具,脉冲中子源和同步辐射光源等谱仪类大科学装置在基础研究和材料分析等科学领域发挥着极为重要的作用,是相关新技术产业的强大支撑。近年来随着谱仪类大型科学装置的升级,不但其数据流的规模和复杂程度在膨胀,各种新型多模态实验也需要从越来越复杂的测量数据中精确鉴别和定位有效的测量信号。在多模态测量中,各种实验状态的实时监控和大规模数据的准实时同步聚合与分析反馈是其重要的逻辑内容,需要有一个通用性好运行效率高,且支持大数据聚合发掘的高性能数据流处理平台来承载各种数据处理业务。DSNI数据处理框架针对谱仪类大型科学装置的数据流特征,从底层硬件规范到上层应用的各个环节对数据流抽象模型进行适配和规范设计,创建通用化数据传输和处理框架,实现不同数据源的同步标记和聚合处理,并划分不同用户区域进行专项优化。同时通过结合实验控制系统,为数据处理各环节建立通讯接口,从而实现实验方法的信息反馈。框架整体提供了对多模态实验大规模数据进行深度发掘的支持能力,是新一代谱仪提升运行性能,应用新型多模态实验方法的基础支撑。

Primary author

Dr Haiyun Teng (IHEP)

Co-authors

Mr Jian ZHUANG (高能所) Dr Zhijia Sun (IHEP)

Presentation materials