大数据
hadoop-02 运行环境搭建
模板虚拟机准备
安装VMWARE
配置虚拟机
安装Centos7
磁盘分配
/boot ext4 1g
swap lvm 4g
/ lvm 45g
IP设置
hadoop100
vmware
windows...
hadoop-01 基础知识
hadoop组成
hadoop1.x
Common 辅助工具
HDFS 数据存储
MapReduce
计算
资源调度
hadoop2.x
Common 辅助工具
HDFS 数据存储
MapReduce...
kafka-17 windows安装kafka
一、下载kafkahttp://kafka.apache.org/downloads
选择二进制版本。
二、安装kafka下载到本地后，将文件解压到本地磁盘下，该文件夹包括了所有相关的运行文件及配置文件，其子文件夹binwindows 下放的是在Window...
kafka-15 消费者组
消费者组 (Consumer Group)
1 什么是消费者组
其实对于这些基本概念的普及，网上资料实在太多了。我本不应该再画蛇添足了，但为了本文的完整性，我还是要花一些篇幅来重谈consumer group，至少可以说说我的理解。值得一提的是，由于我们今天...
kafka-13 自定义拦截器
Producer拦截器
Kafka0.10版本之后新增功能，用于实现clients端的定制化控制逻辑
实现ProducerInterceptor方法
configure(configs)
获取配置信息和初始化数据时调用
onSend(Pr...
kafka-11 Producer API
消息发送流程
kafka的producer发送消息采用的是异步发送的方式
在消息发送的过程中，涉及到两个线程：
main线程
sender线程
一个共享变量RecordAccumulator
main线程将消息发送给RecordAc...