Hadoop配置历史服务器&日志聚集

一、准备工作

在配置历史服务器和日志聚集之前要将NodeManager、ResourceManager全部停掉。

• 停止NodeManager（hadoop101节点）

stop-dfs.sh

• 停止ResourceManager（hadoop102节点）

stop-yarn.sh

二、配置历史服务器

具体配置步骤如下：

1. 配置mapred-site.xml

vim mapred-site.xml

在该文件里面增加如下配置:

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

2. 分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3. 在hadoop102启动历史服务器

mapred --daemon start historyserver

在启动NodeManager、ResourceManager后再启动

4. 查看历史服务器是否启动

jps

5. 查看JobHistory

http://hadoop101:19888/jobhistory

6. 关闭命令

mapred --daemon stop historyserver

二、配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1. 配置yarn-site.xml

vim yarn-site.xml

在该文件里面增加如下配置。

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://${yarn.timeline-service.webapp.address}/applicationhistory/logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<property>
    <name>yarn.timeline-service.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.timeline-service.hostname</name>
    <value>${yarn.resourcemanager.hostname}</value>
</property>
<property>
    <name>yarn.timeline-service.http-cross-origin.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.system-metrics-publisher.enabled</name>
    <value>true</value>
</property>

2. 分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3. 启动命令（在ResourceManager所在节点）

yarn --daemon start timelineserve

关闭命令同理

4. 查看日志

在历史服务器上查看