云计算 频道

中国移动:手机上网激增促进云存储研究

  【IT168 SNW China 2010现场报道】Storage Networking World (简称 SNW)源自美国,由全球网络存储工业协会(SNIA)与美国《Computer World》联合主办。自2003年开始进入中国以来SNW China已经成功地举办了七届,成为中国存储领域规模最大、影响最广、最受关注的存储业界的盛会。今年大会将由SNIA China依托SNIA全球的整合资源,为观众带来与国外“零距离”的 SNW大会,IT168记者将在现场给各位带来全方位报道,与您一起共享SNW存储技术盛会!

SNW China预览:HP四要素实现
IT168 SNW 2010 China大会直播专题

  中国移动通讯研究院大云计划项目经理韩金宇介绍“大云对象存储的趋势”,分享了中国移动从用户角度在云计算、云存储研发应用的成果、经验和教训。

中国移动:手机上网激增促进云计算研究

  中国移动为什么要研究云存储

  韩金宇谈到,中国移动之所以要研究云存储,主要有四个方面的原因:

  一是数据量很大。各个省公司的结算、计费等系统每天数据量的增长都是在1-2TB,总数据存储容量基本上一般是200TB到300TB,因此全国的数据存储容量非常可观。

  二是成本的压力。目前我们只是存储几个月的数据,还无法存储一年的数据,这样在做一些业务分析时,数据不够,不利于业务发展。

  三是集中化的需求。多年来,中国移动的计算机结构是分层建立的,有些软硬件的重复建设,未来要实现集中化,不能再采用原来的开发模式和计算方式,云计算是一个机会。

  韩金宇谈到,中国移动正在由通讯专家向信息专家转型,其业务不再只是基于传统的通信模式,因为现在在互联网用户中手机上网的用户所占的比例已经是越来越大。据统计,在08年的时候手机网民的规模还是1.1亿,半年以后到09年的6月份,就达到1.5亿,占网民总体的比例从39.5%跃升到了49.6%,这种激增给我们的业务系统带来了很大的压力——原来一个人可能一天也只是打10个电话,现在一天可能要浏览上百个网站,这时传统计费方式也不适用了。比如话单查询,我们只能提供三个月的数据,最主要的原因就是存储容量受限制;又比如说,按5亿用户计算,假设每个用户每个月打20个电话,累计一年就是近100亿的话单,我们现在任何一个数据库都无法承受,因为数据量非常庞大,无论是大型机,还是小型机,处理起来压力都很大,如果引入了云存储,这些问题是可以解决的。

  中国移动研究院的大云计划

  为此,近几年来,中国移动研究院启动了所谓的“大云计划”,主要是研究云计算当中的一些关键技术,为中国移动云计算的基础设施建设提供一些支撑,主要的目标是能够提供高性能、低成本、高可扩展以及高可靠的IT服务系统,并且能够满足中国移动未来几年的业务增长需求。

  据韩金宇介绍,在07年3月份,我们确定了云计算的研究方向,当年7月份用15台差不多要废弃的机器基于开源技术搭建了一个云计算平台实验环境,到2008年12月,中国移动研究院投资建设了256个节点的集群系统,并且在上面部署了一些数据挖掘的工具和应用,包括并行数据挖掘、搜索引擎等,面向中国移动内部的精分的业务需求。在09年我们推出了大云0.5的版本,主要是面向中国移动内部开放,在09年12月份,中国移动投资建设了一个有1024个节点的集群环境,这个环境的建设对我们云计算的研究以及发展提供了很大的帮助。在建设这个大规模环境时,我们解决了包括场地、电力、冷却、管理等一系列问题。在2010年5月我们推出了面向公众的大云1.0版本,里面也集成了很多厂商及大云爱好者的工作。

  大云中的“对象存储”

  在演讲中,韩金宇详细介绍了大云计划中使用到的“对象存储”技术。

  他谈到,针对前面提到的话单查询例子,对象存储可以把用户所有的话单进行归并,也就是把100亿的问题简化成了5亿的问题,如果一台机器可以处理5000万数据量,那用十几台就可以处理全国所有用户的话单量了,投资成本也相对较低。

  那么,什么是对象存储?

  韩金宇介绍说,对象存储是近两年才推出来的,其作用是可以存储一些非结构化数据,因为对象存储产生也是因为互联网业务的发展而产生的,比如说互联网的邮件系统、图片应用、视频应用等,这些应用如果用对象存储来取代传统的目录型文件系统,会更加简单方便,目前对象存储在亚马逊、facebook的图象存储服务中都有使用。

  作为一种扁平化的存储结构,对象存储比较易于使用,并且访问速度也非常快,也就是说抛弃了传统系统文件结构当中的树状结构的特点,这样它能够提升很多性能。比如,客户关系管理系统,传统上是放在数据库中,每一个用户的信息要通过表与表之间的关联来获得,数据库压力很大,如果我们把这些用户的信息打包存放,进行一些归并,归并完以后存到对象存储里边,将结构化数据转换成非结构化数据,它的存取速度是非常快的。

  对象存储和传统的存储的不同在于几个方面

  首先,对象存储的可扩展性非常好,数据存储在多台机器上,并且有冗余控制。其次,你还可以设置一些对象的属性,并且可以把这个对象存储构建在传统的存储之上,因为对象存储已经将对象数据进行打包处理,把很多分散的小文件先变成大文件,然后存到传统的存储上。另外,对象存储的接口,类似于数据库接口,用户登陆进去以后可以建立自己的一些对象集,里面可以再建一些自己的对象,类似于数据库中的你可以先建一些表,然后在这个表里再建一些记录,但和传统的标准文件系统接口还是有一些区别。

0
相关文章