中国物理学会高能物理分会第十一届全国会员代表大会暨学术年会

作为研究物质微观结构和动力学性质的基础工具，脉冲中子源和同步辐射光源等谱仪类大科学装置在基础研究和材料分析等科学领域发挥着极为重要的作用，是相关新技术产业的强大支撑。近年来随着谱仪类大型科学装置的升级，不但其数据流的规模和复杂程度在膨胀，各种新型多模态实验也需要从越来越复杂的测量数据中精确鉴别和定位有效的测量信号。在多模态测量中，各种实验状态的实时监控和大规模数据的准实时同步聚合与分析反馈是其重要的逻辑内容，需要有一个通用性好运行效率高,且支持大数据聚合发掘的高性能数据流处理平台来承载各种数据处理业务。DSNI数据处理框架针对谱仪类大型科学装置的数据流特征，从底层硬件规范到上层应用的各个环节对数据流抽象模型进行适配和规范设计，创建通用化数据传输和处理框架，实现不同数据源的同步标记和聚合处理，并划分不同用户区域进行专项优化。同时通过结合实验控制系统，为数据处理各环节建立通讯接口，从而实现实验方法的信息反馈。框架整体提供了对多模态实验大规模数据进行深度发掘的支持能力，是新一代谱仪提升运行性能，应用新型多模态实验方法的基础支撑。