ClickHouse Keeper 为数据复制和分布式 DDL 查询执行提供协调系统。ClickHouse Keeper 与 ZooKeeper 兼容,但可能不清楚为什么应该使用 ClickHouse Keeper 而不是 ZooKeeper。本文讨论了 Keeper 的一些优势。
答案
ClickHouse 云 在大规模多租户环境中为数千项服务使用 clickhouse-keeper
。我们设计并构建了 Keeper,以便我们可以消除对基于 Java 的 ZooKeeper 实现的依赖。ClickHouse Keeper 解决了许多 ZooKeeper 的已知缺点,并进行了额外的改进,包括
- 由于更好的压缩,快照和日志消耗的磁盘空间更少
- 默认数据包和节点数据大小没有限制(ZooKeeper 中为 1 MB)
- 没有
zxid
溢出问题(它强制 ZooKeeper 每 20 亿次事务重启一次) - 由于使用了更好的分布式共识协议,网络分区后的恢复速度更快
- 对于相同的数据量,它使用更少的内存
- 它更容易设置,并且不需要指定 JVM 堆大小或自定义垃圾回收实现
- 协议中的一些自定义命令可以在
ReplicatedMergeTree
表中实现更快的操作 - Jepsen 测试的覆盖范围更大
此外,ClickHouse 支持团队观察到,在使用 clickhouse-keeper
而不是 ZooKeeper 的站点中,集群问题大幅减少。
查看 Keeper 文档页面,以获取有关如何配置和运行 ClickHouse Keeper 的更多详细信息。