【IT168专稿】云计算大潮有没有退去暂时谁也说不好，而就著名研究机构Gartner的最新调查报告显示，云计算领域还将保持增长趋势，而增长的幅度将会放缓，毕竟云计算已经风风火火了不少时间。而今，和云计算同样没有明确定义的一个新概念越来越流行——“大数据”。而且大数据已经开始改变了IT格局，根据Gartner的数据显示，仅2012年大数据就带动全球280亿美元的IT支出，2013年带动的IT支出规模可望进一步增至340亿美元。而放眼目前IT巨头多是出手延伸整个产业链，很少有只撰于产业链中某一环节的企业，但是现在却有这样一个公司只专注大数据，让我们走近台湾精诚集团云中心，走近Big Data事业部即Etu(“知意图”公司)负责人蒋居裕先生。

▲左侧蒋居裕先生 右侧IT168信息化与云计算频道编辑申安安

　　回头看 谁走在大数据的前面?

　　大数据论起源肯定是美国，也流行于美国，并不是因为美国的技术有多么发达，而是因为他们有用户量巨大的互联网服务基础。社交网络、物联网、电子商务起步早，移动设备普及度高等“先天”因素也让他们的数据不再“单纯”，而且单纯的数据格式也无法满足这些业务需要。结构化数据、半结构化数据和非结构化数据的三种类型中，结构化数据目前的传统RDBMS的技术(关系型数据库管理系统)相对于其他技术来说成熟而且性能优势明显，而对于其他两种形式的数据，目前解决方案仍然处于成长甚至是刚刚起步阶段。

　　对于大数据的产生，可以说毫无疑问的要归功于互联网公司，但实际上并不是只有互联网公司才用到大数据，当下的银行、保险类金融业企业、电信运营商、某些制造业领域的企业、医疗行业等都是大数据的真实而直接的用户。现在互联网、电子商务、快消业的企业因为数据量增长最为迅速，而使得他们的需求走在了大数据的最前端。蒋居裕先生认为这些公司或多或少都有自己的解决方案和技术，而从美国的经验来看，大数据处理平台中一个主流处理技术Hadoop，虽然不是唯一的解决方案，却成为主要的解决方案之一，尤其是2006年被开源以后，近6、7年的发展日趋稳定。

　　破解大数据误区 Etu提出一体化解决方案

　　尽管有人说大数据和云计算是截然不同的两个概念，但是不可否认的是二者有着很多交集，甚至是“大数据离不开云”的意味。从硬件层上说分布式存储、虚拟化服务器的弹性支持等都是云计算的重要特性，但也正因如此很多人产生了一些误区。

　　·误区一、“大数据就是存储”，一种新的存储技术。

　　而实际上这种“误区”只是认识的片面，主要在于大数据的存储是基础，而更重要的是处理工作，毕竟存储是为进一步处理做准备。所以从这个角度来看，一般人的理解有些错误。所以请记住大数据一定是存储跟计算同时要发生的。

　　误区二、行业受众小，并非广泛适用。

　　虽然大数据起源互联网，但因为异构数据的存在，很多传统行业其实需求更加迫切。像图形、图像识别等领域、自动控制领域很多场景都需要大数据的帮助。

　　当然，还有人会认为结构化数据处理起来相对容易，用不到“大数据”的概念，或者大数据处理可能只是BI，为企业提供商业智能。蒋居裕先生认为除了BI之外，有时候需要做文字或者图形上的搜索;同样，还有一些来自改善用户体验使用的，比如运营商、金融保险类公司。在蒋居裕先生的观点中，对数据进行了一个分层描述：

　　顶层：Hot Data，这是比较热的数据，它的实时需求最高，在查询之后几秒钟就要得到结果;

　　中层：Warm Data，有一点温度的，它需要随时查询，它处理的时候不需要几秒钟得到结果;

　　底层：Cold Data，这类数据最大的特性就是看起来我不会再用到它，只需要从起来就可以了。

　　而这三层数据中，最容易做的其实就是底层冷数据Cold Data，只要条件允许，这部分数据可以一直沉淀在磁盘上。最直接的入手点就是顶层，大量数据挖掘、数据仓储的案例和解决方案让基于关系型的Hot Data容易被应用。当然完成这所有三层数据的处理工作，已经说明这家公司有一套数据生命周期管理。但重点还是会回到数据本身上，这些所有的数据可以做什么?保存这么数据到底有多大价值?也许这个问题在于是如何找出你跟同行之间不同、如何提供与竞争对手不同服务，让用户体验与同行之间的出发点上。而目前市场来看虽然很多企业有这个需求，但是大部分大数据解决方案都是以项目形式体现，没有一个产品化或者针对某个行业而推出的标准产品推出，这让更多的用户很难去说清楚自己的需求，也对技术实现本身产生了巨大的阻碍，蒋居裕先生认为这样的现状催生了我们推出大数据一体机Etu Appliance的原因之一。Etu其实也是希望通过这样的方式将软/硬件一体的方式交付给用户，用产品化的形式推动大数据市场。

　　功不可没的Hadoop是把双刃剑 压力变动力

　　·双刃之一：内部人才与技术的压力

　　其实从Hadoop宣布开源开始，自身的不断完善，虽然经历了多年的发展，但是人才压力技术压力还是存在的，很明显的一个例子就是目前老牌互联网公司都拥有这样的一群人，但是他们仍然以内部项目的形式服务于公司，很少或者说是并没有很大量的将这样的人才放到市场上。但是蒋居裕先生认为Etu目前的队形中有一些相对成功的人才储备，对Hadoop的理解和运用足够，但是同样不可否认的是，目前来看这样的队伍需要以产品和方案为主要任务的队形。所以Etu将会以垂直行业作为服务划分的范围，及化解了服务压力，又能够给客户提供本土的技术支持服务。

　　·双刃之二，外部环境竞争压力

　　Hadoop其实不是解决大数据的唯一途径，不同厂商都有自己的解决方案，无论是老牌IT巨鳄，还是存储领域的领航员都有自己的产品，而且其中不乏针对Hadoop深度优化有的发行版。但是有一点不同的是，无论如何Hadoop仅仅是构建在操作系统上的一个“软件”，虽然这个软件可以管理的数据很大，但是对于操作系统的以来仍然不容忽视的。而蒋居裕先生认为Etu的优势也正是在于让Hadoop在优化过的OS上发挥更大的优势，而同时，对于发行版本的选择来说Etu并不“挑食”。

　　当然蒋居裕先生认为用实际的测试数据来验证Etu大数据一体机Appliance的优势只能说明它的技术价值，但是一个基础平台，没有产品应用出来对于用户来说是难以抉择的。在Etu来看，当用户不知道自己在某方面的具体需求的时候、或者说有需求方向但貌似无从下手的时候Etu帮助用户进行寻找需求甚至是引导用户挖掘需求，换句话说这种市场仍然属于初级状态至少不是一个白热化的市场，所以Etu用一体机Appliance作为支撑平台，将不同行业的标准产品进行“插入”，来支撑各行各业的需求。而前不久Etu推出的精准推荐系统Etu Recommender就是按照电子商务行业特征需求而推出的产品。

　　大数据服务，一是硬件，二是软件，三是服务，从基础到应用，再到对业务的帮助必须把这三方面捆绑起来，让用户体验一站式服务。蒋居裕先生说：“试想一下客户在不熟悉自身需求的情况下，就会在市场上盲目寻找，这本身对用户来讲是风险，对服务商来讲更是一种风险，所以我们希望以一站式的服务提供方式降低我们用户的风险，从项目角度讲成功率也会有极大的提升。”

　　与其说这样是一种产品规划策略，不如说这是一种市场培养和培育手段。对于大数据服务，尤其是基于Hadoop的大数据服务选择本与水土相符的服务很重要。

　　回归数据 云散之后让数据重现真身

　　在云大行其道的今天，大数据所处理的是一般企业现在所没有处理的，所谓半结构和非结构数据。现在企业管理软件目前大部分是利用数据库或数据存储来做数据的存储或者分析，这些只占到传统企业里面所有数据的15%，剩下的85%，才需要用到这种大数据的处理平台做进一步的分析，在里面找到竞争差异化的来源，能够让客户的体验更加好。

　　但是我们常说的大数据真正的价值却往往被人理想化。在大数据的3V(Velocity速度、Volume体积、Variety种类)组成的3维空间中，却经常充满着互斥的矛盾。当然这里笔者故意没有提到第四个V，原因在于Value价值的不确定因素更大，相对其他3V的指标要求更难界定，所以没有划入3V空间。

▲大数据3V属性的理想状态

▲现实中的3V总是充满互斥的矛盾

　　如果换一种看法，蒋居裕先生对于大数据的3V理论有着自己独到的见解，这个3V将能够组成一个椭圆型，在边缘的轨迹上任意三个点都能够组成一个3V的三角形，而往往这个三角形形状一定会有所偏好，有的量大，实时要求低;有的实时要求高，数据量不是特别大;当然不同的厂商可能画出的椭圆形状不太一样，可是这些都是属于大数据要去分析处理的范畴。而在Etu的观点来看，把一种新的数据处理来源引进新的数据处理平台，引进之后，还可以给这些已经存在企业里头的BI系统或进到数据仓储，企业可以用原本就存在的管理软件直接来调用，看到它的结果。所以从这个角度来看，其实大数据跟传统企业数据其实是互补的。

　　IaaS、PaaS、SaaS三层云的服务模式，IaaS和PaaS从理论上讲应该是支撑SaaS服务的技术，而目前来看，尤其是国内这个有三种服务形态构成的云三角形并不稳定，原本应该成为营收之最的SaaS在国内仍然没有得到充分的发挥。换句话说，目前国内的云业态仍然没有得到全面的发展，目前又一窝蜂的投入到大数据的浪潮中，也许存储技术、网络技术能够满足大数据的需求，但是追捧过云的用户们真的能够分辨出自己对大数据的需求么?不明需求的用户到底要不要启用大数据、到底应该如何处理大数据，也许参考产品化的解决方案，确实是不错的敲门砖。

　　转观一众大数据解决方案供应商，鼓吹技术不如树立行业标准化解决方案，靠产品打天下、靠技术服务用户、靠概念领导业界、靠品牌构建生态系统。