hadoop有关目录的相关配置参数

这是 Hadoop 各个关键配置参数的默认值及其所在配置文件。这些默认值可以帮助你理解 Hadoop 在未进行自定义配置时的行为。

1. hdfs-site.xml

dfs.namenode.name.dir

• 默认值：file://${hadoop.tmp.dir}/dfs/name
• 描述：指定 NameNode 存储元数据文件（如 fsimage 和 edits 日志）的位置。

dfs.datanode.data.dir

• 默认值：file://${hadoop.tmp.dir}/dfs/data
• 描述：指定 DataNode 存储实际数据块的位置。

dfs.namenode.checkpoint.dir

• 默认值：file://${hadoop.tmp.dir}/dfs/namesecondary
• 描述：指定 Secondary NameNode 存储检查点文件（如 fsimage 和 edits 日志）的位置。

dfs.namenode.checkpoint.edits.dir

• 默认值：与 dfs.namenode.checkpoint.dir 相同
• 描述：指定 Secondary NameNode 存储 edits 日志文件的位置。

2. core-site.xml

hadoop.tmp.dir

• 默认值：/tmp/hadoop-${user.name}
• 描述：指定 Hadoop 的临时目录，许多其他默认路径都基于这个目录。

3. mapred-site.xml

mapreduce.cluster.local.dir

• 默认值：${hadoop.tmp.dir}/mapred/local
• 描述：指定 MapReduce 任务本地存储中间数据的位置。

mapreduce.jobtracker.system.dir

• 默认值：/tmp/hadoop/mapred/system
• 描述：指定 JobTracker 存储系统文件的位置。

4. yarn-site.xml

yarn.nodemanager.local-dirs

• 默认值：${yarn.local.dir}/usercache
• 描述：指定 NodeManager 存储中间数据和应用程序文件的位置。

yarn.nodemanager.log-dirs

• 默认值：${yarn.local.dir}/logs
• 描述：指定 NodeManager 存储应用程序日志的位置。

示例配置文件

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
  </property>
</configuration>

core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop-${user.name}</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.cluster.local.dir</name>
    <value>${hadoop.tmp.dir}/mapred/local</value>
  </property>
  <property>
    <name>mapreduce.jobtracker.system.dir</name>
    <value>/tmp/hadoop/mapred/system</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>${yarn.local.dir}/usercache</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>${yarn.local.dir}/logs</value>
  </property>
</configuration>

总结

这些默认配置值展示了 Hadoop 在未进行自定义配置时的行为。如果你希望更改这些默认值以适应你的环境需求，可以修改相应的配置文件中的 <value> 标签内容。配置更改后，记得重启相应的 Hadoop 服务以使更改生效。