欢迎阅读 4 月份 ClickHouse 通讯,我们将回顾过去一个月实时数据仓库的最新动态。
本月,我们发布了 24.3 版本,构建了速率限制器,分享了从 MySQL 迁移到 ClickHouse 的案例,还有聚会视频等等!
本期内容
- 社区成员推荐
- 即将举办的活动
- 24.3 版本
- 在 ClickHouse 中存储持续性能分析数据
- 迁移到 ClickHouse:Releem 的旅程
- 我们如何使用 ClickHouse 构建一个 19 PiB 的日志平台并节省数百万
- 使用 ClickHouse 构建速率限制器
- 视频专区
- ClickHouse 云更新
- 本月精选帖子
社区成员推荐
本月社区成员推荐是 Shivji kumar Jha,Nutanix 数据平台的资深工程师。
Shiv 带领着一个五人团队,负责管理和支持 Nutanix 的数据平台,该平台为消息传递、流式处理、事件溯源、分析和时间序列数据库提供服务。 Shiv 积极参与 Nutanix 使用的技术的社区,包括 ClickHouse。
我们最近在印度班加罗尔的 Nutanix 办公室举办了 ClickHouse 聚会。Shiv 在这次活动中起到了至关重要的作用,帮助组织活动并担任当晚的主持人。他录制了所有演讲并上传到 YouTube。Shiv 还参加了4 月 15 日的后续问答环节,回答聚会中未解决的问题。
感谢 Shiv 的所有付出,期待下次聚会再见到你!
即将举办的活动
- 哥本哈根聚会 - 4 月 23 日
- 免费 ClickHouse 培训 - 4 月 24 日和 25 日
- 伦敦 AWS 峰会 - 4 月 24 日
- v24.4 ClickHouse 社区电话会议 - 4 月 30 日
- 班加罗尔聚会 - 5 月 4 日
- 柏林 AWS 峰会 - 5 月 15 日
- 斯德哥尔摩聚会 - 5 月 22 日
- 迪拜聚会 - 5 月 28 日
24.3 版本
24.3 版本中的主要功能是默认启用分析器。分析器是一种新的查询分析和优化基础设施,已经开发了两年,它允许您在一个查询中使用多个 ARRAY JOIN 子句,将元组元素视为列,处理包含嵌套 CTE 和子查询的查询等等。
在 ClickHouse 中存储持续性能分析数据
Coroot 是一个用于可观察性的开源工具,它将可观察性数据转化为可操作的见解。Nikolay Sivko 撰写了一篇博客文章,介绍了他们如何基于 ClickHouse 构建自己的性能分析数据存储系统。在定义了持续性能分析之后,Nikolay 带领我们了解了数据模型,并给出了检查服务性能的查询示例。
迁移到 ClickHouse:Releem 的旅程
Releem 是一款 MySQL 性能调优工具,它可以自动检测性能下降并优化配置文件。为此,他们从数百台跨不同操作系统和云解决方案的数据库服务器收集指标。
他们以前将这些指标存储在 MySQL 中,但当记录数达到近 50 亿时,MySQL 开始出现问题。ClickHouse 的出现帮助将数据库大小缩小了 20 倍,将聚合查询时间从 45 分钟缩短到 2 分钟,并将 Releem 仪表板的页面加载时间缩短了 25%。
我们如何使用 ClickHouse 构建一个 19 PiB 的日志平台并节省数百万
Rory Crispin,ClickHouse 的 SRE,分享了他构建 ClickHouse 云生成的日志数据的平台的经验。Rory 向我们介绍了关键的设计决策,包括是否使用 Kafka 以及结构化日志和非结构化日志。他还解释了团队为何决定使用 OpenTelemetry 收集指标,并比较了内部解决方案和使用 Datadog 等现成产品的价格。
使用 ClickHouse 构建速率限制器
如果你要构建一个速率限制器,最明显的选择是使用 Redis 来存储数据。但 Craigslist 的系统和安全管理员 Brad Lhotsky 很好奇 ClickHouse 是否适合该目的,并使用它构建了一个概念验证。Brad 分享了他的一次演讲的幻灯片,解释了他如何在短短一周内从 Kafka 导入数据,从 ACL API 构建到 ClickHouse 的桥梁,并测试了高可用性。
视频专区
- 在纽约市聚会上,Adam Azzam 演示了 Prefect 如何使用 ClickHouse 实现实时事件驱动编排。
- Mark Needham 带领我们了解了一些最常见的聚合函数组合器,并展示了我们如何以及为何使用它们。
- 在 2024 年的 Kubecon 欧洲大会上,Manish Gill 讨论了在 Kubernetes 中自动扩展数据库的挑战,并以 ClickHouse 云为例。
ClickHouse 云更新
- 在过去的 9 个月中,我们一直在重建 ClickHouse 云的用户界面,并且上周开始向所有人推出。
- 今天,ClickPipes 引入了对从 S3 和 GCS 持续数据摄取的 beta 支持。如果您有兴趣试用,请回复这封电子邮件!
- 东京 (ap-northeast-1) 已被添加为 AWS 的新区域。立即注册。
本月精选帖子
我们本月最喜欢的帖子是由Divyendu Singh撰写的,关于实时监控。