Speaker
Dr
荣强 曹
(中国科学院计算机网络信息中心)
Description
科学计算环境文件传输和共享服务
曹荣强*，肖海力，王小宁，卢莎莎，解晓伟
中国科学院计算机网络信息中心，超级计算中心，北京，100190
Email：caorq@cnic.cn
关键字: 高性能计算 高通量计算 数据传输 数据共享 微服务 REST开发接口
摘要（1000-1500字）
中国科学院科学计算环境 (Scientific Computing Environment, SCE)的使命是汇聚海量计算资源和多学科领域的应用软件，提供高质量和高水平的计算服务，提升计算资源的利用率。计算环境已经汇聚天津、济南、深圳、长沙和广州等5个国家超级计算中心，院内总中心、9个分中心、18个所级中心和11个CPU中心的计算资源，计算能力达到60PF，存储能力达到50PB，服务于计算物理、计算化学、材料科学、生命科学、地球物理、流体力学、气候模拟、天文学、农业和计算机科学等学科领域。计算环境开通用户账号1000余个，累计完成75万余个有效作业，累计使用计时1.5亿小时。
进入21世纪以来，新的科研和工程活动正在以越来越快的速度产出海量且多样的数据，小至原子运动、分子结构，大至气候变化、宇宙观测，其研究活动正在以越来越快的速度产出海量且多样的数据，计算需求在快速增长，数据传输时间占作业处理时间的比例越来越大，科学计算已经从计算密集型转变为数据密集型。欧洲CERN在2015需要分析和处理约40PB的数据，2016增长到190多PB。我国2016年9月正式落成使用的 “超级天眼”500米口径球面射电望远镜FAST，短期内的计算性能需求至少达到每秒200TF以上，存储容量需求达到10PB以上。
本文针对计算环境中的几百MB到GB量级的数据传输耗时长、网络不稳定和数据共享问题，围绕大数据处理和高通量计算作业的需求，设计和实现一种简单易用的数据传输和共享功能，从而提升计算作业数据的传输效率和在线分享能力；提供一组简单易用的REST开发接口，为多学科领域的社区开发人员提供简单易用的数据管理方面的开发服务；提供简单的统计和查询服务，从而方便用户和社区管理人员跟踪数据生产和共享等方面的详细信息。
本文在设计过程中，充分利用微服务的弹性化、易伸缩等特性，将数据传输和共享功能划分为一组微服务，包括用户认证和授权微服务、文件管理微服务、数据传输微服务、数据共享微服务、统计和查询微服务等5个微服务。用户认证和授权微服务提供用户登录、退出和权限功能，支持计算环境用户的单点登录和单点退出功能。文件管理微服提供文件和目录的创建、查询、删除及其属性的查看和修改等耗时比较少的简单操作。数据传输服务提供大量数据的快速传输、断点续传等功能，重点关注如何提高数据传输速度、如何在多种传输协议包括HTTP协议和SFTP协议的链接上实现端到端的断点续传功能。数据共享服务提供文件上传或下载的共享HTTP(s)网址，在认证和授权服务的基础上判断哪些用户或客户端有权限共享指定的数据。统计和查询微服务供助事件分发和日志分析工具，整理和持久化前述4个微服务产生的各种事件，提供信息查询服务。
本文设计的5个微服务基于开源组件Jersey实现，通过memcached和apache shiro实现微务间的信息共享和权限管理。在这些微服务的基础上，实现了一个验证性的数据传输和共享的WEB服务，首先验证了服务的可行性和易用等性；其次为计算环境用户提供了专用的WEB化数据服务，方便用户管理和分享计算数据；最后也为多学科领域的开发人员提供了一个参考实现，方便他们开发个性和定制化的应用社区。下一步计划进一步提升数据传输微服务的性能，支持几十GB到数百GB的大文件传输，并支持FTP等更多文件传输协议。
Primary author
Dr
荣强 曹
(中国科学院计算机网络信息中心)
