Monthly Archives: 9 月 2023
hadoop-10 MapReduce
MapReduce定义
是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个hadoop集群上
优点：
...
hadoop-09 DataNode工作机制
个人理解
DataNode启动后向NameNode汇报块信息
NameNode收到DataNode汇报后确定该DataNode还存活
DataNode每隔6小时向NameNode汇报一次块信息
每隔3秒向NameNode发送一次心跳告知该Dat...
hadoop-08 NameNode和SecondaryNameNode
NN和2NN工作机制
Namenode
启动NameNode时候加载edits_inprogress_001和fsimage到内存中
fsimage存储操作记录整合后的数据
客户端对元数据进行增删等操作
edits_inprogress_...
hadoop-07 hdfs的读写流程
hdfs写入数据流程
客户端创建一个分布式文件系统客户端
客户端向NameNode请求上传文件 /user/atguigu/ss.avi
NameNode检查目录树是否可以创建文件
检查权限
检查目录结构（是否存在）
Nam...
hadoop-05 hdfs shell操作
基本语法
hadoop fs 命令
hdfs dfs 命令
上传
-moveFromLocal 从本地剪切粘贴到HDFS
-copyFromLocal 从本地文件系统拷贝到HDFS路径
-put 等同于 -copyFromLoc...
hadoop-04 hdfs
HDFS定义
hdfs是一个文件系统，用于文件存储，通过目录树来定位文件
是分布式的
适合一次写入，多次读出的场景
优点：
高容错性
数据自动保存多个副本，通过增加副本的形式提高容错性
某个副本丢失后，可以自动恢复
...
hadoop-03 运行模式
本地运行模式
数据存储在linux本地
伪分布式模式
数据存储在hdfs
完全分布式模式
数据存储在hdfs
多台服务器工作
本地运行模式
准备
~/wcinput/words.txt
hadoop-02 运行环境搭建
模板虚拟机准备
安装VMWARE
配置虚拟机
安装Centos7
磁盘分配
/boot ext4 1g
swap lvm 4g
/ lvm 45g
IP设置
hadoop100
vmware
windows...
hadoop-01 基础知识
hadoop组成
hadoop1.x
Common 辅助工具
HDFS 数据存储
MapReduce
计算
资源调度
hadoop2.x
Common 辅助工具
HDFS 数据存储
MapReduce...