Speaker
世园 符
Description
随着同步辐射光源实验规模的持续扩大，实验产生的数据量迎来急剧的增长，导致数据分析过程中数据读取瓶颈问题日益凸显，严重影响了科学计算的整体性能和效率。针对该问题，设计实现三级优化方法：首先，设计实现了通用化数据IO抽象层，屏蔽底层数据源与格式差异，集成了并行异步等优化方法，并向应用提供了统一易用的数据访问接口；其次，设计实现了数据流服务平台，构建了分布式内存缓存池，打通探测器至计算节点的直连通道，规避传统落盘再读导致的I/O瓶颈；最后，为进一步优化数据流传输效率，实现了领域定制的序列化引擎，设计了专用二进制编解码方法，显著提升数据流通效率。本方法可有效加速科学计算，具备为前沿科研提供高速数据供给的能力。
