云计算 频道

云计算技术介绍:神奇的小飞象Hadoop

  3.2 Hadoop Map/Reduce

  Hadoop Map/Reduce 引擎由JobTracker(作业服务器)和Task Tracker(任务服务器)组成。

基本架构——Hadoop 是如何构成的(2)
▲图4

  Job Tracker

  Job Tracker(Google 称为Master)是负责管理调度所有作业,它是整个系统分配任务的核心。它也是唯一的,这与HDFS 类似。因此,简化了同步流程问题。

  Task Tracker

  Task Tracker 具体负责执行用户定义操作,每个作业被分割为任务集,包括Map任务和Reduce 任务。任务是具体执行的基本单元, Task Tracker 执行过程中需要向Job Tracker 发送心跳信息,汇报每个任务的执行状态,帮助Job Tracker 收集作业执行的整体情况,为下次任务分配提供依据。

  在Hadoop 中,客户端(任务的提交者)是一组API,用户需要自定义自己需要的内容,由客户端将作业及其配置提交到Job Tracker,并监控执行状况。

  与HDFS 的通信机制相同,Hadoop Map/Reduce 也使用协议接口来实现服务器间的通信。实现者作为RPC 服务器,调用者经由RPC 的代理进行调用。客户端与Task Tracker 以及Task Tracker 之间,都不再有直接通信。难道客户端就不需要了解具体任务的执行状况吗?不是。难道Task Tracker 相互无需了解任务执行情况吗?也不是。由于整个集群各机器的通信比HDFS 复杂的多,点对点直接通信难以维持状态信息,所以统一由Job Tracker 收集整理转发。

0
相关文章