kafka系列1-设计与实现

核心概念

设计

动机

持久化

不要害怕文件系统！

常量时间足够了

效率

端到端批量压缩

生产者

负载均衡

异步发送

消费者

推VS拉

消费者位置

离线数据加载

静态成员关系

消息传递语义

复制

复制日志：Quorums,ISRs,State Machines(天啊)

未完成的领导选举：如果他们全部挂了呢？

可用性和持久化保证

复制管理

日志压缩

日志压缩基础

日志压缩提供了什么样的保证？

日志压缩细节

配置日志清理器

配额

为什么配额是必须的？

客户端组

配额配置

网络带宽的配额

请求速率的带宽

强制

实现

网络层

消息

消息格式

批记录

控制批次

记录

记录头

旧版消息格式

日志

写入

读取

删除

保证性

分配

消费者偏移追踪

Zookeeper目录

表示法

Broker节点注册

Broker主题注册

集群ID

Broker节点注册