Hadoop架构模型

Hadoop架构模型

介绍

文件元数据MetaData，文件数据

元数据（例如文件的大小，修改时间）数据本身

（主）NameNode节点保存文件元数据：单节点, posix （从）DataNode节点保存文件Block数据：多节点

DataNode与NameNode保持心跳，提交Block列表 HdfsClient与NameNode交互元数据信息 HdfsClient与DataNode交互文件Block数据（cs） DataNode利用服务器本地文件系统存储数据块

hdfs分布式文件系统

mapreduce分布式计算

yarn资源管理与任务调度

YARN产生的背景

MapReduce1.x存在的问题：单点故障&节点压力大不易扩展

JobTracker：负责资源管理和作业调度 TaskTracker 定期向JT汇报本节点的健康状况，资源使用情况，作业执行情况 接收来自JT的命令：启动任务/杀死任务

YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度

XXX on YARN的好处：与其他计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率 XXX：Spark/MapReduce/Storm/Flink

YARN概述

Yet Another Reource Negotiator通用的资源管理系统为上层应用提供统一的资源管理和调度

YARN架构 ResourceManager：RM 整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度 处理客户端的请求：提交一个作业，杀死一个作业 监控NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉我们的AM来如何进行处理

NodeManager：NM 整个集群中有多个，负责自己本身节点资源管理和使用 定时向RM汇报本节点的资源使用情况 接收并处理来自RM的各种命令：启动Container 处理来自AM的命令 单个节点的资源管理

ApplicationMaster：AM 每个应用程序对应一个：MR，Spark，负责应用程序的管理 为应用程序向RM申请资源（core，memory），分配给内部task 需要与NM通信：启动/停止task，task是运行在container里面，AM也是运行在container

Container 封装了CPU，Memory等资源的一个容器 是一个任务运行环境的抽象

Client

提交作业

查询作业的运行进度

杀死作业

YARN执行流程

YARN环境搭建

1.mapred-site.xml

mapreduce框架运行在yarn之上

mapreduce.framework.name yarn

2.yarn-site.xml yarn.nodemanager用的是哪个service

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop000

3.启动YARN相关的进程 sbin/start-yarn.sh

4.验证 jps ResourceManager NodeManager

​​sbin/stop-yarn.sh

MapReduce作业提交到YARN上运行 用hadoop官方的例子来跑 /hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

参考博客

[1]​​http://blog.jobbole.com/110388/​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。