欢迎阅读 5 月 ClickHouse Newsletter,本期将回顾上个月实时数据仓库领域发生的事件。
本月,我们在 24.4 版本中推出了递归 CTE,发布了 ClickHouse 开发者认证,Instacart 实现了实时欺诈检测等等!
本期内容
- 精选社区成员
- 近期活动
- 24.4 版本发布
- 成为 ClickHouse 认证开发者
- Instacart 的实时欺诈检测
- 使用 ClickHouse 进行 K-Means 聚类
- 使用 Fluentbit 和 ClickHouse 简化 Kubernetes 日志记录
- 可观测性的新构建块
- 使用 ClickHouse 制作金融图表
- 本月最佳文章
精选社区成员
本月精选社区成员是 Dan Goodman,Tangia 的联合创始人兼 CEO,Tangia 是一项用于托管互动直播的服务。
Dan 至少在 18 个月前就加入了 ClickHouse 社区,并经常向工程团队提供关于缺失功能以及如何改进现有功能的反馈。
Dan 撰写了一个关于分布式系统的博客,他在博客中曾写过关于范围分区和构建 Fly.io 调度器等主题。
几周前,他写了一篇题为使用近似嵌入聚类查找趋势的博文。在文章中,他解释了在使用大数据集时近似技术的重要性,并详细介绍了如何使用 ClickHouse 实现动态 K-Means++ 算法。
近期活动
- 迪拜 Meetup - 5 月 28 日
- AWS 峰会迪拜站 - 5 月 29 日
- v24.5 社区电话会议 - 5 月 30 日
- 旧金山 Meetup - 6 月 4 日
- AWS 峰会斯德哥尔摩站 - 6 月 4 日
- 东京 Meetup - 6 月 5 日
- AWS 峰会马德里站 - 6 月 5 日
- ClickHouse 基础知识 - 6 月 26 日和 27 日
- AWS 峰会 D.C. 站 - 6 月 26 日
- 阿姆斯特丹 Meetup - 6 月 27 日
- 巴黎 Meetup - 7 月 9 日
- 纽约 Meetup - 7 月 9 日
24.4 版本发布
24.4 版本的突出特点是递归 CTE(公共表表达式),我们制作了一个以伦敦地铁为主题的示例来向您展示它们的工作原理。此版本还改进了 JOIN 性能和 QUALIFY 子句,以过滤窗口函数的值。
成为 ClickHouse 认证开发者
Rich Raposa 最近宣布 推出官方 ClickHouse 开发者认证计划,这是唯一直接来自 ClickHouse 的认证。
此认证计划验证了开发者在使用 ClickHouse 构建强大、高性能数据解决方案方面的熟练程度。此认证将展示您对 ClickHouse 的掌握,并帮助您将自己区分为值得信赖的数据库管理和分析专家。
Instacart 的实时欺诈检测
Nick Shieh、Shen Zhu 和 Xiaobing Xia 撰写了一篇博文,他们在文章中介绍了 Yoda,这是他们在 Instacart 构建的决策平台服务,用于检测欺诈活动并快速采取行动。ClickHouse 被选为该系统的主要实时数据存储,因为它既可以实时摄取和查询大量数据。我特别喜欢文章中描述实时功能如何从 ClickHouse SQL 查询中提取的部分。
使用 ClickHouse 进行 K-Means 聚类
最近,在帮助一位想要从 ClickHouse 中保存的向量计算质心的用户时,我们意识到相同的解决方案可以用于实现 K-Means 聚类。他们希望在可能数十亿个数据点上大规模执行此操作,同时确保可以严格管理内存。在这篇文章中,我们展示了如何仅使用 SQL 实现 K-means 聚类,并表明它可以扩展到数十亿条记录,同时运行速度明显快于 scikit-learn 中的相同代码。
使用 Fluentbit 和 ClickHouse 简化 Kubernetes 日志记录
日志记录是目前 ClickHouse 最热门的用例之一,因此我很高兴看到 Muthukumaran 的这篇博文。Fluentbit 是一款轻量级的日志和指标处理器和转发器,专为容器化环境而设计。Muthukumaran 详细介绍了设置指标服务器以监控 Kubernetes 中的资源利用率的步骤,然后展示了如何配置 Fluentbit 以将这些指标导入 ClickHouse。
可观测性的新构建块
本文重点介绍了作者所说的可观测性周期表中的三个新元素:OpenTelemetry、eBPF 和 ClickHouse。OpenTelemetry 已成为遥测数据的实际标准,eBPF 使生成零检测的追踪和指标成为可能,而 ClickHouse 则用于摄取和查询所有这些数据。文章还介绍了使用 ClickHouse 的一系列可观测性初创公司 - Groundcover、SigNoz 和 DeepFlow。
使用 ClickHouse 制作金融图表
在简要介绍了何时(以及何时不)使用 ClickHouse 之后,Adis Nezirović 演示了如何摄取、查询和可视化金融时序数据。在此过程中,他展示了如何使用 Null 表引擎来整理数据和聚合状态,以减少保留的数据量。最后,Adis 使用 Grafana QueryBuilder 创建了一个烛台图表。
本月最佳文章
我们本月最喜欢的文章是 ludwig 发布的文章,他对 ClickHouse 查询的速度和数据压缩质量都印象深刻。
在简要介绍了何时(以及何时不)使用 ClickHouse 之后,Adis Nezirović 演示了如何摄取、查询和可视化金融时序数据。在此过程中,他展示了如何使用 Null 表引擎来整理数据和聚合状态,以减少保留的数据量。最后,Adis 使用 Grafana QueryBuilder 创建了一个烛台图表。