分布式计算技术是Google的核心,也是Yahoo的基础
目前分布式计算技术是基于Google创建的技术,但是却最新由Yahoo所建立。Google总共发表了两篇论文,2004年发表的叫做MapReduce的论文介绍了如何在多计算机之间进行数据处理;另一篇于2003年发表,主要是关于如何在多服务器上存储数据。
来自于Yahoo的工程师Doug Cutting在读了这两篇论文后建立了分布式计算平台,以他儿子的玩具大象命名。如今Cutting已经离开Yahoo,加入了最大的分布式系统创业公司Cloudera。其它一些创业企业包括MapR以及Yahoo自己的Hortonworks。但是所有最大的IT供应商都提供这个技术,它们或者以产品的形式,或者基于其云计算平台。
该技术经常是免费的,但是咨询费则相当昂贵
大多数大数据技术都是开放项目并且免费,通过提供服务来盈利。很多有需求的IT企业不了解如何建立这方面的应用,也没有这个必要。主流的IT公司都在建立这方面的产品和服务,以帮助企业充分利用分布式技术的强大优势。其中包括了很多正在崛起的初创企业。我们可以相信,未来类似Google这样的企业将更多来自于这些创业企业。