云计算·大数据 频道

一桶千亿,下一代对象存储上演“王者归来”

  前不久,XEOS V6正式发布,这是一款对象存储产品,能满足海量存储需求,单个存储桶可支持千亿对象产品规格。“一桶千亿”,这在业界也是一个里程碑式事件,是XSKY星辰天合能够引领下一代对象存储的“杀手锏”。

  为什么要有“一桶千亿”?

  提到对象存储,我们首先会想到“存储桶”这个概念,即对象以扁平化结构存放在桶中,无文件和目录的概念,用户可以选择将对象放在单个或者多个桶中。至于,XSKY星辰天合为什么要推出这么大一个“桶”呢?而不是分成很多“小桶”来装存储对象?如果你了解数据库应用场景构建,一切就不难理解了!

  在数据库领域,有一个重要发展方向是分布式数据库。具体指的是,把数据分散存储在不同物理位置上,与传统集中式数据存储刚好相反,可以更好地解决单机数据库的性能和存储瓶颈。但是,还有另外一个场景是,企业需要把上亿条,甚至上百亿条的记录,放在一个数据库里。那么,这类企业为什么不去拆表呢?在XSKY星辰天合 首席技术官 王豪迈 看来,有两个重要原因:一个是用户在最初使用时,应用体量无法预估;另一个,给未来的数据查询带来挑战。

  从存储角度看,用户在开始创建桶时,不能预估这个桶未来要存多少。因为,业务在持续变化,数据在不断增长,所以底层的存储一定要具备足够大的弹性空间,不管数据存多少,都能存得下。同时,基于一个桶存储对象,有一个好处,就是API调用会更方便,用户在一个桶里查找对象,肯定比在不同的桶里查找,更容易、速度更快、也更节约成本。

  所以,“一桶千亿”的最重要价值在于,用户可以少写代码,只基于一行代码就能最大化去存储目标对象,而不用去做选择,什么样的信息需要放在哪个桶里,为业务应用带来更好的弹性和易用性体验。

  以互联网医疗为例,医院的数据过去都存储在自己的本地机房,存在着严重的数据孤岛现象。但是现在,有了卫健委的牵头 ,所有数据都要上收,如何把各家医院的数据都汇聚到一个大的存储池,并且支持各家医院的读取以及访问?考验着单桶存储能力,倒逼着对象存储的改革,也是“一桶千亿”为什么会成为“刚需”的主要原因!

  同时,“一桶千亿”之所以能够引领未来, 还有一个最重要的“背后推手”,那就是大数据带来的颠覆力。有数据统计,未来90%的数据量增长都和视频、图片有关,尤其是视频要想进行结构化的调整,还要进行截帧,要进行更多解码才能分析,导致大量小文件存储的出现。比如:存一个100 TB的视频文件,对应的可能是千亿级别的小文件规模,需要与AI结合进行解析,这意味着底层的对象存储要具备海量支撑能力。

  对象存储支持公有云还是私有云?

  “一桶千亿”,最大的挑战是性能、稳定性和可靠性问题。那么,XEOS V6对象存储的整个架构,是怎样一种模式?如何解决单集群、单个桶的容量瓶颈?

  XSKY星辰天合创造性地引入了全局统一的分布式原数据集群,使用一套对象存储解决了存储规模的局限性。该架构模式的差异化能力是,即可支持元数据和数据存储节点融合部署,也可分离部署、独立规划,允许接入多种异构存储平台存放数据,有效地支撑了海量小文件元数据的存储。XEOS V6 支持接入不同的存储平台,包括:公有云、文件存储、兼容 S3 对象存储、蓝光系统、磁带库,充分利用已有存储投资。

  可能有人会问,为什么要兼容S3 对象存储?XSKY星辰天合 产品战略副总裁 吕磊 解释道,因为S3是业界事实标准,整个互联网领域都在遵循这种架构!

  只是,S3其实本身已经很强大,XSKY星辰天合的差异点又在哪里?我们会发现,互联网企业的大型应用,本身已经在使用对象存储,比如:微信、微博等。但以S3为代表的对象存储会有一个问题,只提供一个服务,而不是一个商业化的产品,就像大家在使用的icloud,用户每个月付给它6块钱,进行数据备份,但很难进行下一步的操作。

  除了在使用体验上和公有云S3一样,XEOS V6最核心的能力是,可以分析对象的访问频率、访问频次,以及相关频次的一些信息,根据这些信息可以去实现智能化的分层,让数据处于流动状态,实现智能化的管理。比如:在S3中,会把计算任务下发到所有的输入节点里执行,但通用的逻辑肯定有限,用户的很多操作受局限,包括不能批量的打水印。当XEOS V6把相关逻辑实现服务化后,就能满足用户的更个性化的需求。

  XSKY星辰天合希望通过学习互联网的业务模式,借助更先进的底层架构优势,主攻公有云的精细化和产品化短板,这也是新一代对象存储在互联网、金融领域能够快速发展的最根本原因。

  所以,对象存储的未来,应该在私有化市场,这也是XSKY星辰天合一直在努力的方向。

0
相关文章