云计算 频道

中国移动"大云"1.0系统功能与产品解读

  具体而言,大云1.0包括大云数据挖掘系统(BC-PDM)、海量结构化存储(Hugetable)、大云弹性计算系统(BC-EC)、大云弹性存储(BC-NAS)和大云并行计算系统(BC-MapReduce)五个产品:

  大云数据挖掘系统(BC-PDM)

  并行数据挖掘工具(BC-PDM)是一套高性能、低成本、高可靠性、高可伸缩性的海量数据处理、分析和挖掘系统。该工具提供海量数据并行ETL和并行挖掘能力,支持企业的BI应用和精准营销;提供业务逻辑复杂的SQL 能力,支持海量数据的清洗、转换、关联、汇总等操作,支持生成企业报表、KPI、挖掘等应用;提供基于Web的SaaS服务模式,降低企业IT系统投资。

  因此,BC-PDM是一个类似于SPSS、SAS的数据挖掘和数据预处理工具,不同的是,它是一个SaaS工具,并且是基于云计算MapReduce实现的,用户无需购买和部署,只需要注册并将数据传到大云发布系统中即可使用。由于是基于云计算的,因此BC-PDM克服了传统工具的问题,能够处理TB级的海量数据挖掘。

  如果您有一个大型网站,希望对海量的用户信息进行用户行为分析,进而开展精准营销,却苦于自己的IT设施无法满足要求,或者自己没有精力做挖掘算法的基础研究,那么BC-PDM给您提供了一个很好的平台,使您不用关注IT设施的部署、不用关注存储的不断扩容、不用投入大量的研发资源进行基础算法研发,只需要关注在自己的业务流程和用户访问模型的研发上,使用BC-PDM简单拖拽即可完成用户行为分析。

  如果您正在做数据挖掘算法研究,那么BC-PDM是一个好的学习、交流、试验平台。

  另外,应用开发商可基于BC-PDM开发应用,到用户的实际系统中进行部署。

  海量结构化存储(Hugetable)

  作为分布式海量数据仓库,HugeTable是一套适合快速索引查询/统计、多表扫描查询/统计的廉价可扩展的海量结构化数据存储和管理系统;基于Web的管理系统,支持PB级别的数据存储能力,具有秒级别的索引查询能力、快速数据加载、高速数据并行扫描能力,提供标准的xDBC/SQL接口和数据备份恢复、导入导出等工具。

  因此,Hugetable是一个面向分析型、准实时型应用的一个海量数据仓库系统。其主要用途是在日志类存储查询应用、分析型应用中作为后台数据仓库,应用开发商可以基于其进行应用开发。Hugetable是基于x86集群架构的,具有成本低、易扩展的特性。发布系统主要为用户提供体验Hugetable功能和应用开发方法,相关客户端驱动已经放在BC-EC发布的虚拟机中,用户若基于BC-EC开发了Web应用,需要进行应用日志的分析,可以使用Hugetable。

  另一种应用方式是,开发商基于Hugetable开发应用,到用户的实际系统中进行部署。

  发布系统还提供了一个应用demo,让用户体验Hugetable的功能。

  大云弹性计算系统(BC-EC)

  弹性计算系统(BC-EC)提供一种新型的数据中心服务器管理能力和IaaS服务模式,通过虚拟化技术优化数据中心内部资源利用率,降低管理成本,可以通过网络自服务方式向用户租赁虚拟服务器资源。

  BC-EC可以根据用户需求提供虚拟计算资源。用户可以申请虚拟资源作为教学、培训环境,进行系统上线前的测试甚至提供新的Web服务。BC-EC可以解决创业者创业初期没有资金构建自己的IT系统的难题,使你只要关注自己的应用开发和业务创新。

  由于系统还处于试验阶段,本系统免费供试用者使用(系统中的虚拟计费主要用于研究的目的)。因此,本系统暂只提供开源的操作系统。

  大云弹性存储(BC-NAS)

  大云存储系统(BC-NAS)采用对象存储模式支持互联网应用,支持超大规模数据存储,提供多种便捷的文件获取方式,支持多副本机制,保证数据的安全可靠;适用于企业用户或个人用户的数据存储服务。

  从本质上看,BC-NAS本来就是一个应用,个人用户可以把它当做一个个人网盘,进行数据备份,企业也可以将其作为一个企业NAS(NAS Proxy程序暂未发布,发布之后用户在一台PC服务器上安装好),即可作为一个NAS服务器,数据存在云端。

  BC-NAS后台使用的对象存储系统(oNest),提供HTTP、REST接口进行访问。用户在建立自己的网站或开发自己的应用时,还可以调用oNest的接口,将数据存在oNest中。目前oNest的驱动已经安装在BC-EC发布的虚拟机中,便于用户使用。

  大云并行计算系统(BC-MapReduce)

  并行计算系统(MapReduce)是在Hadoop的基础上进行了改进,为了让广大学生、编程者学习最新的MapReduce编程方法而开发的一个MapReduce作业管理系统。如果您想学习MapReduce,却不知道如何开始;您正在学习MapReduce,却苦于没有资源进行大规模部署和测试;如果您正在基于MapReduce研究一种算法,却无法验证其在较大规模环境下的性能,那么大云发布系统的MapReduce系统是一个非常好的起点。

  MapReduce并行计算执行环境提供MapReduce作业的配置、控制(启动/停止等)和执行环境,同时提供系统执行性能结果统计,为用户学习/研究mapreduce并行编程和性能分析提供便捷的工具。

  在开源方面,“大云”是中国移动研究院集成并扩展了多个云计算相关的开源软件和自主研发的部分功能组件的产品,在大云中主要采用了 Hadoop 分布式计算软件和 OpenNebula 弹性计算管理系统,虚拟机使用的是 Xen。在大云的开发过程中,中国移动研究院对 Hadoop 进行了一些改进,并集成了一些附加功能,这些修改大都在逐步开放源代码。

1
相关文章