Kafka, 大数据

kafka-01 基础知识

  • 解耦
    • 允许你独立的扩展或修改两边的处理过程,只要确保他们遵循同样的接口约束
  • 可恢复性
    • 系统的一部分组件失效时,不会影响整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理
  • 缓冲
    • 有助于控制和优化数据流经过系统的速度,解决生产信息和消费心思处理速度不一致的情况
  • 灵活性和峰值处理能力
    • 在访问量剧增的情况下,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃
  • 异步通讯

消息队列的两种模式

  • 点对点模式
    • 一对一,消费者主动拉取数据,消息收到后消息清除
  • 发布/订阅模式
    • 一对多,消费者消费数据之后不会清除消息
    • 消费者主动拉取模式(kafka)
      • 常轮询查询是否有新消息
    • 队列主动推送(公众号订阅推送)