云计算 频道

OpenStack首进“丁肇中实验室”

  AMS (Alpha- Magnetic Spectrometer,阿尔法磁谱仪)计划是由1976年诺贝尔奖获奖者丁肇中教授领导的、由全球16个国家和地区的56个研究机构合作承担的国际性大型科研项目。AMS计划是国际空间站上唯一的大型科学实验,是人类第一次在太空中使用粒子物理精密探测仪器和技术的实验。其目的是通过探测宇宙中的反物质和暗物质,探索宇宙的起源与未知。

  东南大学于2011年底建成了东南大学高性能云计算中心,已经成为AMS-02实验在亚洲地区乃至世界范围内最主要的数据处理中心,也被学生们称作“丁肇中实验室”。该数据中心硬件环境总体规模达4500 CPU核,880TB存储,峰值浮点计算能力达每秒60万亿次,在全国各高校及相关科研机构中名列前茅,累计存储与处理的数据量已超过1PB。

  随着近几年数据沉淀和计算量的增长现有的高性能云计算中心在硬件规模及性能、软件配置等方面均存在明显的限制,无法满应用需求。为此,东南大学在对AMS实验平台进行升级的同时,也将整个平台改造成云计算架构,OpenStack也得以进入“丁肇中实验室”,将开源云计算与高性能计算结合起来。

  项目背景:改造高性能云计算中心

  丁肇中AMS实验所在的东南大学高性能云计算中心对于云平台改造的需求如下:

  管理要求:要求建立以Openstack作为软件框架的高性能云计算平台,实现虚拟机、物理机、容器等实例资源的整合与调度,并确保计算高性能;

  稳定要求:要求云平台所有的模块都能够稳定运行,并且任何模块都需要有高可用功能支持;

  性能要求:要求平台结合高速并行文件系统,在保证高可靠的前提下,并行文件系统实际持续并发读写性能应≥10GB/s;

  扩展性要求:要求平台能够在统一平台纳管物理机、虚拟机、容器、大数据、高速分布式文件系统、网络SDN解决方案,并且任何一个方向都需要做到可以灵活扩展。

  解决方案:大数据共享服务

  在东南大学大数据共享服务平台的建设中,云平台一共设计了6大功能模块来支撑整个校级平台的应用,2大辅助模块来支撑整个校级平台的监控运维管理,在管理要求、稳定要求、性能要求以及扩展性等方面均可以完全满足。

  在管理要求方面,云平台基于OpenStack架构为东南大学建设云计算架构平台,同时利用OpenStack的ironic组件来进行纯物理机的管理,在物理机上搭建高性能计算集群,利用Nova组件来进行虚拟机的管理、利用Magnum来进行容器的管理;

  在稳定性方面,云平台设计通过云平台所提供的热迁移以及高可用进行实现,任何物理节点故障都不会影响上层业务的正常服务能力,除此之外,还通过业务层数据同步机制实现业务层级的高可用;

  在性能要求方面,云平台通过Cinder组件来整合IBM 高速并行文件系统GPFS,通过GPFS并行文件系统实现对于所有IO硬盘的同时读写,并行文件系统实际持续并发读写性能应≥10GB/s;

  在扩展性方面,云平台的基础架构是OpenStack,而OpenStack所有的组件都具有标准的API,物理机、虚拟机、容器、大数据、高速分布式文件系统、网络SDN都有对应的模块来对接,并且可以做到高扩展性

  改造平台解决方案的主要亮点包括:

  1,云平台结合高性能计算平台

  云平台采用Ironic模块来实现对整个高性能计算的管理,既满足了高性能计算用物理机可以发挥极限性能的特性,又做到了对整个高性能计算集群的监控和统一平台管理。

  2,云平台结合高速并行文件系统GPFS

  云平台采用Cinder模块对接并行文件系统的驱动来实现大数据共享服务平台对于高速并行文件系统的整体管理。

  3云平台结合Mellanox 网络SDN解决方案

  云平台通过Neutron模块来对接Infiniband的网络设备,实现大数据共享服务平台对于Infiniband网络设备的管理,在大数据共享服务平台实现对于Infiniband网络设备的应用。

  客户价值:统一管理

  基于OpenStack搭建的东南大学大数据共享服务平台是AMS-02实验在亚洲地区乃至世界范围内最主要的数据处理中心。除了AMS实验数据处理应用外,东南大学大数据共享服务平台也是大型仪器设备共享平台和大型学科交叉平台,同时承载了学校其他大数据处理应用。

  云平台可以在统一界面集高性能计算集群、虚拟化资源池、高速文件系统、SDN网络解决方案、容器集群、大数据资源池为一体的综合性校级服务平台,对于OpenStack在教育行业的应用具有示范作用。

0
相关文章