Conveners
分布式计算与云计算I
- 建海 陈 ()
Dr
荣强 曹
(中国科学院计算机网络信息中心)
04/07/2017, 16:20
分布式计算技术与系统
分会报告
科学计算环境文件传输和共享服务
曹荣强*,肖海力,王小宁,卢莎莎,解晓伟
中国科学院计算机网络信息中心,超级计算中心,北京,100190
Email:caorq@cnic.cn
关键字: 高性能计算 高通量计算 数据传输 数据共享 微服务 REST开发接口
摘要(1000-1500字)
中国科学院科学计算环境 (Scientific Computing Environment,...
Ms
宏楠 谭
(高能物理研究所)
04/07/2017, 16:40
分布式计算技术与系统
分会报告
对于需求多样的高能物理计算,虚拟化技术是提高资源利用率、支持多应用、简化应用迁移过程的有效手段。对于上层应用而言,虚拟化屏蔽了硬件层次,使得可用资源统一的呈现出来。Docker是目前较为流行的开源容器引擎,是应用于操作系统层面的虚拟化技术,在单一主机上提供多套相互隔离的环境。为了了解高能物理计算在容器环境中的实际损耗情况,本文以真实的高能物理实验作业为测试样例,搭建了物理机、容器、虚拟机三种类型的统一测试平台,对这三者的性能进行了详细的对比测试。测试结果表明,容器具有接近于计算机实际物理性能的特点,使得在容器上运行高能物理计算的损耗几乎可以忽略不计。同时,在实际的高能物理计算环境中,不同实验的离线处理软件不同,关联软件库各异,同一离线计算软件使用时也会发布多个版本。本文利用了docker的镜像分层技术,为不同实验定制了相应的容器镜像,并将各实验镜像优化至能满足条件的最小尺寸,从而便于...
Mr
晓巍 姜
(高能所)
04/07/2017, 17:00
分布式计算技术与系统
分会报告
当前,高能物理领域的生产环境中,计算任务多以单核串行作业为主,具有高吞吐的特点。同时,由于计算任务重、资源需求大、用户习惯不同,而计算资源相对隔离,在资源管理与调度中,需要充分考虑公平调度与规范管理。
因此,近年,HTCondor批处理系统在高能物理计算领域较为流行,HTCondor最主要的特点是处理高吞吐量的资源调度,同时支持大规模的计算调度,并且有较高的灵活性和扩展性,能够很好的满足高能物理计算任务需求。
但是,HTCondor提供给用户的自由度过高,不易于调度控制和管理;同时,作业提交等操作的过程相对繁琐,当用户群较复杂时,不易于规范统一操作模式,导致用户体验下降;此外,HTCondor本身不提供用户管理功能,需要额外的用户管理系统与接口来补充。
鉴于以上原因,本文提出并实现一种面向高能物理任务调度的前端管理方案。
该方案由中央管理系统、作业操作工具集、调度控制器三部分...
Ms
丽娜 林
(东海舰队通信站)
04/07/2017, 17:20
数据处理软件与分析方法
分会报告
大型复杂信息系统(如电子对抗系统)中,大量的计算软件被部署到不同的计算单元中进行协同计算和交互。集成大量CPU计算处理单元和RapidIO总线的嵌入式信息处理设备,以其丰富的计算资源、高数据吞吐量等特点在工程中得到广泛应用。给定大量软件构件和构件间的数据收发关系,迫切需要研究如何快速给出构件部署和调度策略,在尽量少占用硬件资源的情况下,满足构件运行的CPU、内存,数据链路等资源需求。本文给出一种基于图约束装箱算法的构件调度策略生成算法,将构件动态部署和调度策略的生成描述成新的装箱问题,将CPU看做箱子,构件看做物品。当两个CPU之间有构件存在数据收发关系时,需要在CPU之间创建RapidIO数据链路。构件部署完成后,得到一张以CPU为顶点、RapidIO数据链路为边的关系图,需要在该图满足顶点容量、边的度数等约束条件下,使得占用箱子数量最小,是一个复杂的NP完全问题。实验表明,本文给...