Conveners
先进光源数据与软件
- 功发 刘 ()
先进光源数据与软件
- 春鹏 王 (中国科学院上海高等研究院)
先进光源数据与软件
- 留国 陈 (中国科学技术大学)
The rapid development of X-ray free electron laser (EFEL) facilities has opened a new paradigm of X-ray measurement. They can deliver ultra-short and coherent x-ray pulses with extremely high brilliance, thus enabling the observation of the physical and chemical behaviors in condensed matters and biomaterials, at high spatial and temporal resolution simultaneously. Shanghai HIgh repetitioN...
高能同步辐射光源（High Energy Photon Source，HEPS）是国内建设的首个第四代同步辐射光源，为我国材料科学、化学工程、能源环境、生物医学等众多领域提供了先进的实验平台。一期建设的十五条线站在运行期间预计每天总共会产生200TB至500TB的原始数据。HEPS所产生的数据具有数据量大、通量高、结构复杂等特点。因此，为了高效地利用数据，需要对这些海量数据从数据获取、存储、传输、利用到共享的全生命周期过程进行跟踪和管理。本文将着重介绍当前HEPS数据管理的关键技术实现以及相关进展，并讨论后续的发展方向。
1 引言
随着云计算、大数据、移动网络等信息技术的飞速发展和广泛应用，科研和管理信息化程度不断加深，充分借助信息技术，尤其是数字网络技术对档案内容信息以及相关衍生信息资源进行有效的组织、管理、存储和利用，已经成为新时期档案工作突破传统、创新发展的必经之路。2021年起正式实施的《中华人民共和国档案法》，明确要求推动档案信息化建设，开辟档案管理现代化新路径。同时，肯定了电子档案的效力与凭证价值，对电子档案管理信息系统、数字档案馆、档案信息资源共享服务平台建设提出了更高要求。
硬X射线自由电子激光（Shanghai HIgh repetitioN rate XFEL and Extreme light...
Ptychography是一种相干衍射成像技术，能够提供在X光衍射波长极限内样品的相位分辨率重建图像。在光学实验中，使用小孔或者其它光学仪器将X光探针聚焦到待扫描样品上。样品每个预定位置的衍射图样由放置在样品1m距离（或更远）之后的探测器捕获。相邻两个扫描位置需要一定的重叠比例，以此来保证被记录的实验数据能够多倍冗余，为ePIE算法或者DM算法的重建提供足够多的信息。
针对ePIE算法和DM算法，现有的开源软件并未提供QT界面及提供完备的工作流，无法为用户提供友好的实验元数据参数的快速导入GUI及基于CUDA C++的多GPU并行重建迭代过程。Hepsptycho软件由高能物理研究所计算中心与多学科中心B2线站联合开发，程序核心均由CUDA C++实现，以实现在NVIDIA...
通过机器学习理解X 射线吸收谱：实验结果到理论计算的自动匹配
王可心，卢项尉，王天阳，陈留国，刘功发, 陈凯*
中国科学技术大学国家同步辐射实验室
Email: kaichen2021@ustc.edu.cn
过去十年，材料信息学显著加快了新材料性能的发现和分析。加速相关材料发现的关键因素之一是高通量实验中的动态数据分析，引发了对材料特性快速而准确的自动估计的需求。X 射线吸收光谱 (XAS) 是一种广泛使用的材料表征技术，用于确定氧化态、配位环境和其他局部原子结构信息。XAS 分析依赖于测量光谱与可靠参考光谱的比较。然而，现有的 XAS...
光源学科数据分析需求和传统的高能物理计算存在较大差异，高能物理学科用户多采用命令行模式，登录计算集群UI节点，提交批处理作业进行数据分析，分析结果的时效性受作业排队时长影响较大。光源学科用户通常直接使用科学软件分析工具处理实验数据，快速获取分析结果调整后续分析策略，对软件操作的可交互性和分析结果的时效性要求较高。结合光源数据分析应用特点，HEPS设计了面向光源科学分析场景的交互式计算平台，用户无需了解ssh等终端操作命令，直接通过浏览器随时随地接入计算集群环境，访问集群内部资源。同时，交互式计算平台使用python ui工具包，跳过命令行和代码编辑步骤，直接面向用户提供可交互的UI软件，用户通过点击按钮选取输入数据，即可基于集群计算资源快速完成数据分析，提升了用户对计算资源使用的便利性。
作为我国第四代同步辐射光源装置高能同步辐射光源(High Energy Photon Source HEPS) 开展的实验将向高 数据通量 、 多模态 、 超快频率 、 跨尺度形式转变 所产生的年数据通量预计将迈入 「 Exascale 」 时代 。 另外 复杂多样的数据实验导致不同线站数据产生速率差异较大 。 面对如此高通量 、 容量
多样化的实验数据 数据处理软件需要能够调用可伸缩的分布式异构计算资源 提供不同规模的计算分析服务 。
上海光源是中国大陆第一台中能第三代同步辐射光源，目前共有27条光束线39个实验站投入运行，至2025年将有35条光束线约50个实验站投入运行，已接待学界、产业界用户超过3.5万人。国家“十二五”重大科学基础设施建设项目上海光源线站工程配套建设的用户数据中心可提供超过20PB的统一存储空间，提供超900Tfloops的多节点CPU/GPU混合集群算力支持。上海光源同步辐射科学数据管理分析系统依托上海光源用户数据中心基础设施，从全装置层面布局核心数据库系统设计研发、高通量数据快速分析系统研发、数据自动处理流水线研发，以实现海量实验数据的全生命周期高效组织管理、高通量数据在线处理以及计算资源的高效利用，为上海光源用户提供“一站式”的数据服务，实现科学数据的长期价值与战略价值，加速装置和用户的科学产出。
随着第四代同步辐射光源的出现，以及高分辨探测器的发展，科学数据无论是在容量还是通量上都出现了数量级的增长。先进的数据处理和分析方法需要从底层技术进行革新，跟上数据增长的速度，并提供实时的快反馈和实验指导能力。同时随着新型先进实验方法的不断涌现，方法学算法及软件的发展需要底层软件框架的支持。为满足新一代光源实验的需求，HEPS计算与通信系统开发了面向先进光源实验的数据处理软件框架Daisy。本次报告将介绍Daisy项目的设计理念、开发进展及未来发展计划。
北京在建的同步辐射光源装置预计每天产生数百TB的数据量，每年的数据量达到PB量级，对IO、存储和科学计算带来极大压力。实验过程中需要在线处理用于快速判断数据采集质量，目前从磁盘读取海量实验数据读取存在严重的IO瓶颈，因此HEPS亟需稳定高效的IO方法克服以上困难，首先分析光源下计算任务的读取模式，结合HDF5分块存储特性，减少数据跳读，结合并行异步策略加速读写，减少IO在计算过程中的占比；其次通过压缩的方式减少数据体积，为保证数据完整性，压缩采用无损的方式，引入压缩会带来额外的时间和资源消耗，而不同的数据压缩效果也有所不同，所以，以加速整个科学计算为目标，综合评价引入压缩的提升，自动触发压缩过程及压缩方法。因此本文拟通过以上方法优化HDF5在HEPS科学计算过程中的IO速度，加速科学结果产出。未来以流处理的方式可以规避海量数据落盘再读取导致的IO瓶颈问题，因此最后本文首先介绍了未来H...
随着计算机技术、卫星导航技术的迅速发展，通过卫星传感器产生的数据已经达到TB级甚至PB级。目前，高能所参与了多颗天文卫星的研制和建设，包括硬X射线调制望远镜(Hard X-ray Modulation Telescope，HXMT)、引力波暴高能电磁对应体全天监测器卫星（Gravitational wave high-energy Electromagnetic Counterpart All-sky Monitor，GECAM）、增强型X射线时变与偏振空间天文台（enhanced X-ray Timing and Polarimetry...
