欢迎来到 4 月份 ClickHouse Newsletter,在这里我们总结了过去一个月实时数据仓库领域的动态。
本月,我们迎来了 24.3 版本发布、构建速率限制器、从 MySQL 迁移到 ClickHouse 的案例、Meetup 视频等等!
本期内容
- 社区成员 spotlight
- 即将到来的活动
- 24.3 版本发布
- 在 ClickHouse 中存储持续性能分析数据
- 迁移到 ClickHouse:Releem 的旅程
- 我们如何使用 ClickHouse 构建 19 PiB 日志平台并节省数百万美元
- 使用 ClickHouse 构建速率限制器
- 视频角
- ClickHouse Cloud 更新
- 本月最佳帖子
社区成员 spotlight
本月社区 spotlight 成员是 Shivji kumar Jha,Nutanix 数据平台的高级工程师。
Shiv 领导着一个五人团队,管理和支持 Nutanix 的数据平台,该平台充当消息传递、流媒体、事件溯源、分析和时间序列数据库的服务。 Shiv 积极参与 Nutanix 使用的技术社区,包括 ClickHouse。
我们最近在 Nutanix 位于印度班加罗尔的办公室举办了一次 ClickHouse Meetup。 Shiv 在促成这次活动、协助组织以及担任当晚的 MC 方面发挥了不可估量的作用。 他录制了所有演讲,并将它们上传到了 YouTube。 Shiv 还参加了4 月 15 日的后续问答环节,以解答 Meetup 中未解答的问题。
感谢 Shiv 的所有工作,我们下一次 Meetup 再见!
即将到来的活动
- 哥本哈根 Meetup - 4 月 23 日
- 免费 ClickHouse 培训 - 4 月 24 日和 25 日
- AWS 峰会伦敦站 - 4 月 24 日
- v24.4 ClickHouse 社区电话会议 - 4 月 30 日
- 班加罗尔 Meetup - 5 月 4 日
- AWS 峰会柏林站 - 5 月 15 日
- 斯德哥尔摩 Meetup - 5 月 22 日
- 迪拜 Meetup - 5 月 28 日
24.3 版本发布
24.3 版本的主要功能是默认启用分析器。 分析器是一个新的查询分析和优化基础设施,已经开发了几年,它允许您在查询中拥有多个 ARRAY JOIN 子句,将元组元素视为列,处理带有嵌套 CTE 和子查询的查询等等。
在 ClickHouse 中存储持续性能分析数据
Coroot 是一款开源可观测性工具,可将可观测性数据转化为可操作的见解。 Nikolay Sivko 写了一篇博客文章,其中他描述了他们如何构建自己的基于 ClickHouse 的性能分析数据存储系统。 在定义持续性能分析之后,Nikolay 带我们了解了数据模型,并给出了检查服务性能的查询示例。
迁移到 ClickHouse:Releem 的旅程
Releem 是一款 MySQL 性能调优工具,可自动检测性能下降并优化配置文件。 为此,他们从各种操作系统和云解决方案中的数百台数据库服务器收集指标。
他们过去将这些指标存储在 MySQL 中,当记录达到近 50 亿条时,MySQL 开始变得吃力。 ClickHouse 的出现帮助数据库大小缩小了 20 倍,将聚合查询时间从 45 分钟缩短到 2 分钟,并将 Releem 仪表板的页面加载时间缩短了 25%。
我们如何使用 ClickHouse 构建 19 PiB 日志平台并节省数百万美元
Rory Crispin,ClickHouse 的 SRE,分享了他构建 ClickHouse Cloud 生成的日志数据平台的经验。 Rory 带我们了解了关键的设计决策,包括是否使用 Kafka 以及结构化与非结构化日志记录。 他还解释了为什么团队决定使用 OpenTelemetry 收集指标,并对内部解决方案与使用 Datadog 等现成产品进行了成本比较。
使用 ClickHouse 构建速率限制器
如果您要构建速率限制器,那么存储数据的显而易见的选择是 Redis。 但是 Craigslist 的系统和安全管理员 Brad Lhotsky 很好奇 ClickHouse 是否适合此用途,并使用它构建了一个概念验证。 Brad 分享了一个演讲的幻灯片,解释了他如何在短短一周内从 Kafka 导入数据,构建从 ACL API 到 ClickHouse 的桥梁,并测试高可用性。
视频角
- 在纽约市 Meetup 上,Adam Azzam 介绍了 Prefect 如何使用 ClickHouse 实现实时事件驱动编排。
- Mark Needham 带我们了解了一些最常见的 聚合函数组合器,并展示了我们可能使用它们的方式和原因。
- 在 2024 年欧洲 Kubecon 上,Manish Gill 讨论了 Kubernetes 中数据库自动扩展的挑战,并以 ClickHouse Cloud 为案例研究。
ClickHouse Cloud 更新
- 在过去的 9 个月中,我们一直在重建 ClickHouse Cloud 的 UI,并且 上周开始向所有人推出。
- 今天,ClickPipes 引入了从 S3 和 GCS 持续数据摄取的 Beta 支持。 如果您有兴趣尝试一下,请回复此电子邮件告知我们!
- 东京 (ap-northeast-1) 已添加为 AWS 的新区域。 立即注册。
本月最佳帖子
本月我们最喜欢的帖子是 Divyendu Singh 关于实时监控的帖子。