Conveners
科学计算与数据管理II
- 海力 肖 (Computer Network Information Center, CAS)
Dr
京燕 石
(中科院高能所)
17/07/2019, 16:10
科学计算技术与平台
HTCondor批作业管理开源软件对于高通量作业提供了高性能的作业调度功能,被越来越广泛应用于高能物理离线处理领域。但与大多数批作业管理软件不同,HTCondor并不提供中心化集群管理模式,我们开发了基于HTCondor的自动化管理工具(MAT),用于资源的自动化统一管理与故障实时监视与修复。
在MAT中,中心数据库用于存储计算资源的多种属性。集群中每个计算结点的配置文件被MAT按中心数据库的信息设置修改。所有计算结点都在MAT的监控之中,一旦发现问题,会被实时监测并反馈给中心数据库,进而相关错误将从计算集群中被快速剔除。
Mr
宁 杨
(中国科学院成都文献情报中心)
17/07/2019, 16:30
科学计算技术与平台
科学数据是国家科技创新和发展的基础性和战略性资源,是科研创新最根本、最活跃、影响面最广的科技资源。大数据时代,科技创新越来越依赖科学数据的综合分析,从气象预测到生物基因分析,从牧草选育变化到生态数据监测,科学数据的意义及重要性不言而喻。随着人工智能技术的蓬勃发展,其在各学科领域的大规模交叉应用必将成为促进科研创新,推动社会经济发展,提升国家科技竞争力的重要手段。
近年来,深度学习和机器学习等技术已经在高能物理、生物医药、空间地理等学科的研究工作中得到了广泛的应用,例如高能物理领域利用卷积神经网络、递归神经网络和对抗生成网络等深度学习算法模型应用于粒子鉴别、事例分类、事例重建、异常检测等多个科研场景。但是将这些新技术应用于学科研究也存在很多障碍,其中最大的问题在于机器学习等技术对学科专家来说往往是一个黑盒,使用这些技术和算法需要对算法模型和软件工具具有深入的理解,并且具备一定的编...
军 韩
(国家天文台)
17/07/2019, 16:50
科学计算技术与平台
FAST是世界上最大的单口径射电望远镜,随着漂移扫描巡天的开展,每天都会产生数百T的观测数据。对于这些海量数据的处理,我们必须面对多种软件处理环境的构建冲突、软件故障的快速恢复、系统可快速扩展等一系列问题,这对我们后续的科学数据处理与研究提出了挑战。 经过调查与研究,我们提出采用云计算的方法进行处理,采用容器技术对软件进行封装,采用kubernetes技术构建云环境,并为数据处理方式专门构建了多种模型以实现高效的处理。数据处理模型不但可以进行自动化的数据处理、故障恢复等能力,同时还可以根据需求自动匹配计算资源,对计算机资源进行了高效的利用。这种技术方法很好的解决了海量数据处理中的多种问题,并在FAST数据处理当中进行了应用,同时对未来SKA等天文大数据的处理也具有重要的借鉴意义。
智慧 孙
(高能所)
17/07/2019, 17:10
科研信息化管理与系统
网络接入认证服务及接入控制管理是园区网络管理的基础。本文提出了基于SDN思想的园区有线网络接入认证与接入控制管理方案,同时提出了跨园区无线网络接入认证及接入控制管理方案。基于提出的园区有线网络及无线网络接入控制管理方案,开发了一套网络接入认证及接入控制管理系统,并应用高能所园区及高能所东莞分部园区有线网络及无线网络的接入认证及控制管理,取得了良好的效果。