云计算 频道

Hadoop学习笔记之二:部署与应用实例

  【IT168 技术】本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。

  硬件环境

  共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:

  dbrg-1:202.197.18.72

  dbrg-2:202.197.18.73

  dbrg-3:202.197.18.74

  这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析。

  一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能ping通就OK!若不能正确解析,可以修改/etc/hosts文件,如果该台机器作Namenode用,则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名;如果该台机器作Datanode用,则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。

  以本文为例,dbrg-1中的/etc/hosts文件看起来就应该是这样的:

  127.0.0.0 localhost localhost

  202.197.18.72 dbrg-1 dbrg-1

  202.197.18.73 dbrg-2 dbrg-2

  202.197.18.74 dbrg-3 dbrg-3

  dbrg-2中的/etc/hosts文件看起来就应该是这样的:

  127.0.0.0 localhost localhost

  202.197.18.72 dbrg-1 dbrg-1

  202.197.18.73 dbrg-2 dbrg-2

  在上一篇学习笔记中提到过,对于Hadoop来说,在HDFS看来,节点分为Namenode和Datanode,其中Namenode只有一个,Datanode可以是很多;在MapReduce看来,节点又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是很多。

  我是将namenode和jobtracker部署在dbrg-1上,dbrg-2,dbrg-3作为datanode和tasktracker。当然你也可以将namenode,datanode,jobtracker,tasktracker全部部署在一台机器上

1
相关文章