hadoop-08 NameNode和SecondaryNameNode

NN和2NN工作机制

Namenode

启动NameNode时候加载edits_inprogress_001和fsimage到内存中
- fsimage存储操作记录整合后的数据
客户端对元数据进行增删等操作
edits_inprogress_001记录操作日志（增删操作）
内存数据增删操作

SecondaryNameNode

请求是否需要CheckPoint
- CheckPoint触发时机：定时时间到（1小时）、Edits中的数据满了（100万条记录）
满足CheckPoint 2NN请求执行CheckPoint
NN 生成新的edits_inprogress_002接收新的请求
NN将原来的edits_inprogress_001重命名为edits_001
2NN将edits_001和fsimage拷贝到2NN 加载到内存并合并生成新的fsimage
2nn拷贝新的fsimage到nn 命名为fsimage.chkpoint
nn 删除原来的fsimage并将fsimage.chkpoint重命名为fsimage
下次重启即可将新的fsimage和edits_inprogress_002加载到内存

Fsimage和Edits概念

NameNode被格式化之后，将在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录中产生如下文件

Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息
Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中
seen_txid：文件保存的是一个数字，就是最后一个edits_的数字

查看Fsimage Edits文件

oiv和oev命令
- oev 查看edits文件
- oiv查看Fsimage文件
基本语法

hdfs oiv -p 输出文件类型 -i 镜像文件 -o 转换后文件输出路径
hdfs oev -p 输出文件类型 -i edits文件 -o 转换后文件输出路径

示例

hdfs oiv -p XML -i fsimage_0000000000002046 -o /home/test/fsimage.xml

NameNode并没有存储文件块存储在哪个DataNode，而是DataNode启动后告诉NameNode自己存储了哪些文件块
Edits文件存储操作记录
默认1小时两个文件合并一次
合并的时候合并大于fsimage最大序号的所有文件

CheckPoint时间设置

通常情况下SecondaryNameNode每隔一小时执行一次
- hdfs-default.xml

<property>
  <name>dfs.namenode.checkpoint.peroid</name>
  <value>3600s</value>
</property>

一分钟检查一次操作次数，当操作次数达到100万时SecondaryNameNode执行一次

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
  <description>操作动作次数</description>
</property>
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>60s</value>
  <description>1分钟检查一次操作次数</description>
</property>

Blog

hadoop-08 NameNode和SecondaryNameNode