云计算 频道

Hadoop:全球热恋

  Hadoop只会锦上添花 不会喧宾夺主

  大多数客户使用Hadoop添加到其他类型的软件上,而不是取代其他软件。例如,eBay仍然在使用关系型数据库,并需要处理大量自定义(数据库)工作,Williams说道:“在eBay,我们发现了使用多种技术来处理数据的价值。Hadoop对于某些目的而言,是一个非常好的选择,而对于其他目的,其他技术更加适用。”

  例如,当涉及交易时,他表示,“当然应该使用关系型数据库系统。我们的总体想法是灵活的选择适合的技术,并不存在一个‘包治百病’的技术。”

  Concurrent公司同样是如此。Hadoop并没有取代该公司的传统关系型数据库,包括MySQL、PostgreSQL和Oracle。“这是一个综合解决方案,”Lazzaro表示,“我们使用Hadoop来完成繁重的工作,例如大规模数据处理。然后我们会使用Hadoop内的Map/Reduce来创建汇总数据,这种数据能够通过传统RDBMS来查看。”

  关系型数据库的发展趋势是,当系统变得太大时,例如2.5亿条记录一天,数据库就无法响应数据查询。然而,他表示,“面对这么庞大的数据,Hadoop仍然不费吹灰之力。Hadoop可以存储50亿条数据,通过Map/Reduce我们可以创建数据汇总,并将其插入到标准RDBMS以提供快速查看。”

  在一般情况下,Williams表示,“我并不会过多考虑Hadoop的局限性,而是会考虑机会。你可以通过开源社区迅速找出解决任何问题的解决方案。虽然有些人对于Hadoop有着这样那样的抱怨,但它毕竟属于新技术,就好像早在1993年或1994年的Linux一样。”

  “我们确实看到独特的技术挑战,”Williams表示,包括架构数据中心、设计支持Hadoop的网络和选择正确的硬件。

  总体而言,Hadoop一直是eBay的良好战略,Williams说道:“对于我们而言,Hadoop真的帮了大忙,我们的工程师都对它赞不绝口,它帮助我们成为真正的数据驱动型企业。”

0
相关文章