云计算·大数据 频道

云存储如何重塑数据活力?

  当企业数字化转型步伐加快,数据爆发性增长已是新常态,如何全面、有效、安全地进行数据存储,成为数据驱动业务增长的必经之旅。

  换言之,数据存储并不能简单地理解为,把数据按照0和1的字节放在物理介质上,而是会涉及服务敏捷性、性能、成本、数据多样化与安全合规等问题。那么,作为云存储的鼻祖,亚马逊云科技是如何解决数据存储问题的呢?答案是,基于”全家桶”式服务,为用户进行智能分层、专门构建与统一数据保护!

  智能分层

  “从块存储到对象存储,再到文件存储、备份、容灾以及边缘网络和数据传输等,亚马逊云科技拥有存储服务的全家桶。” 亚马逊云科技大中华区产品部总经理 陈晓建 认为,通过智能分层可彻底解决数据的成本和数据的可用性、敏捷性之间的矛盾。

  ▲亚马逊云科技大中华区产品部总经理 陈晓建

  问题是,什么是智能分层?

  首先,看成本。用户数据上来以后,存储成本肯定会提高,到底是牺牲成本来确保一定的读写性能,还是牺牲读写性能来保证成本,这本身就是个矛盾体。

  从2006年3月14日推出第一个对象存储产品Amazon S3开始,亚马逊云科技已经在存储领域耕耘了16年,不断提升应用性能,降低用户的使用成本。有一份数据的统计结果是,亚马逊云科技将存储的成本降低了7倍。也就是说,如果用户在2006年要在存储上花100块钱的话,那么今天只需要15块钱。2021年,亚马逊云科技还宣布,将全球九大可用区域的两个主要产品价格降低了31%。其中一个产品是Amazon S3 Standard In Frequent Access,另一个是Amazon S3 One Zone In Frequent Access。

  其次,看数据温度。数据成本只是其中一个问题,不能解决存储本身带来的所有问题,因为数据来源多种多样,使用方法也不同,针对不同数据的类型应该有不同存储产品相对应。

  最直接的方式就是把数据分为热、温、冷、冻四个层次:

  1、热数据:数据使用有不同频率,比如交易系统里的交易数据、用户日志,这些数据需要被频繁访问,可以被分为热数据。

  2、温数据:一些企业的业务数据,包括网站数据,需要按周的频率或者按月的频率访问,但不像热数据那样访问得很频繁,这叫温数据。

  3、冷数据:手机相册数据以及企业其他数据,这些数据平时的访问频率可能是几个月,甚至一两年才会访问一次,我们可以把它称作为是归档数据,一旦存储之后,访问频率并不是很高。

  4、冻数据:还有一种数据,一旦写入之后访问频率非常低,但是由于合法合规要求,这些数据必须要能够进行持久化的存储,比如:医疗影像数据,国家规定这些数据必须存放30年,任何时候要用都可以及时拿出来。从业务特点来讲,这些数据本身对于存储读写性要求并不很高,但是要求要有数据的持久性,而且数据量非常大,所以用户对于数据存储成本有着非常高的要求,这是冻数据。

  针对不同温度的数据存储需求,亚马逊云科技开发了多达8层的存储层级,用户可以根据自己的数据类型、需要的读写性能、可以接受的成本,来选择其中任何一种存储层级,来应对整个业务的需求。比如:基于Amazon S3 Glacier归档存储,用户可以存储200个19秒的短视频,一个月的成本只有3分钱,但读取会很慢,可能需要几分钟,甚至几个小时才能读取。如果用户希望实现秒级甚至毫秒级存储性能,可以使用Amazon S3 Standard—IA,这是一个温数据存储服务,但价格比Amazon S3 Glacier贵3倍左右。

  有人会说,我即想要便宜,还想要快,那应该怎么选?2021年12月份,亚马逊云科技推出了一个革命性的新产品Amazon S3 Glacier Instant Retrieval,本质上虽然是归档存储,但价格和Glacier相当,用户数据的取回速度是毫秒级,相当于是普通Amazon S3的存储性能,并且降低了数据管理难度。

  Amazon S3 Glacier Instant Retrieval看上去已是极致,但亚马逊云科技并不满足于此。因为,客户还是会遇到选型难的问题,因为很多时候不知道如何判断数据的温度,更不知道如何根据温度变化积极进行存储策略调整。所以,2018年,亚马逊云科技推出了一个新产品叫Amazon S3智能分层,就是系统根据每一份数据的实际访问频率来做智能级分析,决定每一块数据的温度应该如何来做,并且通过后台的智能判断自动地把数据分到合适的存储层级。

  也就是说,数据分层这事,客户不用自己做,系统会根据数据实际的访问来自动决定怎么存,极大地降低了用户运营的复杂性,合理优化存储成本。其实,每一个用户都可以把Amazon S3智能分层作为默认的数据选择,不用担心多达八层的数据分层的实际操作问题。除了Amazon S3,亚马逊云科技还把智能分层功能拓展到了共享文件存储Amazon EFS,系统会把不同数据智能分开。按照非频繁访问层成本是频繁访问层的1/10计算,智能分层可以为用户节省最多72%的成本。

  专门构建

  接下来的问题是,不同数据类型来源不一样,使用方式不同,需求也千差万别,如何构建不同存储服务来满足个性化业务需求?

  走到今天为止,企业IT云化进程已经基本完成。大体来看,企业的数据类型无非两种,一种是云原生现代化应用,包括电商、游戏、社交等,这些应用大部分原本就诞生在公有云上;另一种是,传统的企业级应用,比如ERP、CRM等,这些之前基于传统技术和架构的应用,显然云化以后,数据处理方式也不一样。

  云原生应用非常简单,大量业务依赖于微服务架构,很多用户希望存储也与之相匹配。那么,亚马逊云科技如何解决云原生应用的存储问题呢?

  有两个最基础的服务:一个Amazon S3;另一个Amazon EFS。其中,Amazon S3很明显适合于云原生应用,用户只需要通过简单的API就能使用,不用关心底层架构的任何细节。经过十多年的发展,Amazon S3已经成为对象存储的事实标准。但是,还有一些用户依然依赖于传统的文件系统的调用方式,如何为这类企业提供服务?亚马逊云科技提供了Amazon EFS,这是一个共享文件系统,可完全兼容容器、无服务器化应用。Amazon EFS不仅和Amazon S3一样不用做任何配置和运维,还能和其他服务高度集成,用户一旦启用容器就可以非常容易地挂载到Amazon EFS里。

  企业在云端有各类不同的业务场景,对共享文件存储有着不同的要求,亚马逊云科技归为以下四类。

  第一类,以Windows为主的应用。底层服务要完全满足Windows环境,包括ACL文件访问控制权限、Active Directory兼容等。

  第二类,高性能计算。单个节点无法完成,一定是多节点协同,进行数据共享。尤其遇到几百个、几千个节点访问的场景时,对整个存储的性能和吞吐率提出了非常高的要求。

  第三,多样化的企业应用。这些应用要上云,必须完美地兼容和支持好各种功能。

  第四,大数据环境。企业往往需要一些特殊的支持,包括ZFS,需要具备高吞吐、低延时的技术。

  亚马逊云科技专门构建了一个场景化应用,叫做FSx家族,X意味着多种文件存储类型,专门为企业不同业务需求构建。从2018年到现在,亚马逊云科技共推出了四种Amazon FSx产品。2018年11月份推出了两款产品:第一个是Amazon FSx for windows,第二个是Amazon FSx for Lustre,是为支持高性能计算所特别设计的。2021年9月份,亚马逊云科技还推出了Amazon FSx for NetApp ONTAP,将NAS产品NetApp ONTAP跟公有云做了一个完美的契合。2021年11月份,亚马逊云科技针对Linux环境下大数据分析等场景,推出了Amazon FSx for OpenZFS。

  统一数据保护

  数据存储还涉及一个最重要的问题,就是统一数据保护。很多系统使用起来非常复杂,如何保证数据的安全合规要求?如何解决数据备份成本问题?亚马逊云科技提供了Amazon Backup,可在云上实现一站式备份服务!

  亚马逊云科技的数据保护能力可以覆盖到每一个存储产品,包括块存储、对象存储、文件存储、数据库,同时也能够支持其他各类计算和存储网关产品。同时,通过简化备份管理以及图形化的界面,可帮助用户降低整个运维成本,用户可以通过预设的策略进行自动化备份,大大降低手动备份带来的各种问题。

  至于安全合规问题,更是亚马逊云科技的必备能力。Amazon Backup深度集成了亚马逊云科技自带的KMS数据加密服务,整个备份操作权限数据访问权限都可以用IAM进行细颗粒度监控,满足个人信息安全规范,等保等等安全合规要求。

  亚马逊云科技能够在数据备份层面有效降低用户的使用成本,是因为使用了备份库的冷热分层技术。比如:如果按照95%的备份数据做冷备份库,把5%的备份数据放在热备份库来处理,冷备份库的成本按照热备份库的20%来计算,用户通过冷热分层策略,可以有效降低约75%的成本。

  从2006年开始到现在,亚马逊云科技一直保持“Day1心态”,持续了解客户需求,以至于企业一直被追赶,但从未被超越。总结而言,亚马逊云科技存储服务已经成为IT行业的“水”和“电”,让各行各业的业务都能从存储服务中获取数据价值。

0
相关文章