1. IE browser is NOT supported anymore. Please use Chrome, Firefox or Edge instead.
2. If you are a new user, please register to get an IHEP SSO account through https://login.ihep.ac.cn/registlight.jsp Any questions, please email us at helpdesk@ihep.ac.cn or call 88236855.
3. If you need to create a conference in the "Conferences, Workshops and Events" zone, please email us at helpdesk@ihep.ac.cn.
4. The max file size allowed for upload is 100 Mb.

融合分布式计算框架Ray实现高通量XPCS数据分析

25 Aug 2025, 16:40
20m
6号会议室 (国信南山温泉酒店)

6号会议室

国信南山温泉酒店

数据处理软件与分析方法 数据处理软件与分析方法

Speaker

建利 刘

Description

X射线光子相关谱技术因其在探测纳米尺度动力学行为方面的独特优势,在材料科学、软凝聚态物理和生物物理等领域应用日益广泛。然而,随着同步辐射光源亮度的提升和探测器技术的发展,XPCS实验产生的海量时间序列数据对后续计算分析,特别是自相关函数的计算,提出了严峻挑战。传统单机或简单并行化方法在处理大规模、高帧频XPCS数据时,面临着计算效率低下、扩展性不足和资源利用率不高等瓶颈问题。为应对这一挑战,本研究提出并实现了一种基于分布式计算架构的创新解决方案,其核心是采用ray框架将XPCS的大量非相关计算进行分布式处理。利用Ray的Actor模型封装核心计算任务(如mutiltau相关算法),通过其分布式任务调度能力,实现了计算任务在集群资源(包括CPU和GPU)上的动态分配与负载均衡。实际应用表明,基于Ray构建的分布式XPCS处理系统能够线性扩展计算能力,大幅缩短数据处理时间(相比单机处理速度提升数十倍至百倍量级),并显著提升计算资源的整体利用率。

Primary authors

建利 刘 浩凯 孙 (高能所) 誉 胡 (高能所)

Presentation materials

There are no materials yet.