云计算·大数据 频道

OpenStack和Ceph在Genomic Era的应用

FishOS支持基因组研究,为埃伯哈德·卡尔斯大学的云计算提供动力,通过蒂宾根的大学计算中心为生物信息学家提供云环境。

生命科学和信息技术的发展对生物信息学的跨学科性质产生了深远的影响;生物信息学正在经历从内部计算基础设施到云计算的新飞跃,以处理高通量实验技术产生的大量生物数据。高通量技术的可用性以及基因组学和药物基因组学在大群体研究中的应用正在产生越来越多的实验和临床数据,以及分布在互联网上的专门数据库。

德国生物信息学基础设施网络(简称“de.NBI”)是一个国家研究基础设施,为生命科学研究、生物医学和相关领域的用户提供生物信息学服务。

云技术如何支撑临床基因组研究?

德国人类基因组计划推动的技术和资源正在开始对生物医学研究产生深远影响,并有望在更广泛的生物学研究和临床医学领域掀起革命。越来越详细的基因组图谱帮助研究人员寻找与数十种遗传条件相关的基因。

这一新领域出现的实际后果是显而易见的。对人类孟德尔病相关基因的鉴定曾经是一项艰巨的任务,需要大型研究团队、多年的艰苦工作和不确定的结果,现在可以由一名研究科学家在几周内完成,该科学家可以获得DNA样本和相关表型,轻松连接到私人基因组数据库、热循环仪和DNA测序机。

de.NBI为德国人类基因组计划提供数据。由于系统处理人类基因组数据的性质,对可靠性和弹性的要求是对整个云系统的真正考验。

通过云联盟概念,所有五个de.NBI站点,比勒费尔德大学、弗莱堡大学、图宾根大学、海德堡大学和吉森大学,都集成到一个单一的云平台中。存储量的增长、实验数据的预处理和分析正成为分析管道的主要瓶颈。

因此,用户将通过中央de.NBI云门户被引导到所设想的服务和合适的云。

Sardina FishOS形成了de.NBI云的主干,以促进欧洲的先进科学发现。基于OpenStack和Ceph的高度可靠的平台能够实现数据的综合分析和高效使用,以实现科学突破。

突破性云技术解决科学问题

de.NBI的多系统结合了FishOS OpenStack和Ceph,为传统研究和下一代应用提供了超可靠的平台,并提供了数据安全和保护。为实现de.NBI的目的,Ceph存储的关键要求包括:多个站点上的地理冗余、静态加密、异步镜像,以及选择单向或双向镜像。这些系统支持针对镜像的快照和日志模式以及设置为在计划时间获取它们的快照的多个存储和单池配置。

为了加速计算,云平台采用先进的Nvidia GPU加速。

由于多个基于OpenStack和基于Ceph的云跨越多个位置和地区,系统的日常操作变得简单而灵活,云平台的预集成操作工具、智能预测分析和智能资源管理。

来自FishOS

Sardina基于FishOS的运维架构实施了一项解决方案设计,允许de.NBI通过全自动、灵活、可靠和可扩展的运维以及市场独有的零停机升级来管理多个系统。如今,de.NBI使用基于OpenStack、Kubernetes和Ceph的FishOS解决方案运行四个系统。Sardina还从Ubuntu OpenStack迁移了其中一个系统。

为图宾根的de.NBI计算中心提供云环境,FishOS首先实施的项目包括基础设施、构建管道的各种工作流解决方案,以及特别关注高通量数据分析(基因组学、蛋白质组学、代谢组学等)的工具。

其次,位于图宾根的de.NBI云站点的一个主要目标是提供涵盖不同科学研究领域的软件,如质谱分析、NGS分析管道,以及通过集成到Galaxy工作流中的Ball进行分子对接。由于其针对云平台的预集成操作工具,FishOS简化了de.NBI系统的日常操作,使其变得简单灵活。系统用户受益于智能预测分析和智能资源管理。

现在,FishOS运行云基础设施,以研究海量数据,进行科学发现,并帮助向不同地区的人们提供高水平的医疗服务,可以说,像FishOS这样的IT技术对人类基因组研究发展产生了影响。

原文链接:

https://mp.weixin.qq.com/s/Xa1EsOZOzWq0OrZkXV4o-Q

0
相关文章