Yearly Archives: 2023
hadoop-04 hdfs
HDFS定义
hdfs是一个文件系统，用于文件存储，通过目录树来定位文件
是分布式的
适合一次写入，多次读出的场景
优点：
高容错性
数据自动保存多个副本，通过增加副本的形式提高容错性
某个副本丢失后，可以自动恢复
...
hadoop-03 运行模式
本地运行模式
数据存储在linux本地
伪分布式模式
数据存储在hdfs
完全分布式模式
数据存储在hdfs
多台服务器工作
本地运行模式
准备
~/wcinput/words.txt
hadoop-02 运行环境搭建
模板虚拟机准备
安装VMWARE
配置虚拟机
安装Centos7
磁盘分配
/boot ext4 1g
swap lvm 4g
/ lvm 45g
IP设置
hadoop100
vmware
windows...
hadoop-01 基础知识
hadoop组成
hadoop1.x
Common 辅助工具
HDFS 数据存储
MapReduce
计算
资源调度
hadoop2.x
Common 辅助工具
HDFS 数据存储
MapReduce...
kafka-17 windows安装kafka
一、下载kafkahttp://kafka.apache.org/downloads
选择二进制版本。
二、安装kafka下载到本地后，将文件解压到本地磁盘下，该文件夹包括了所有相关的运行文件及配置文件，其子文件夹binwindows 下放的是在Window...
kafka-15 消费者组
消费者组 (Consumer Group)
1 什么是消费者组
其实对于这些基本概念的普及，网上资料实在太多了。我本不应该再画蛇添足了，但为了本文的完整性，我还是要花一些篇幅来重谈consumer group，至少可以说说我的理解。值得一提的是，由于我们今天...
kafka-13 自定义拦截器
Producer拦截器
Kafka0.10版本之后新增功能，用于实现clients端的定制化控制逻辑
实现ProducerInterceptor方法
configure(configs)
获取配置信息和初始化数据时调用
onSend(Pr...