2024 年 11 月新闻通讯

欢迎阅读 11 月份的 ClickHouse 新闻通讯，它将总结过去一个月实时数据仓库领域发生的事情。

重大新闻是可刷新的物化视图已准备好投入生产，并且我们有了官方 Docker 镜像！

Alexey Milovidov 做客 Data Talks on the Rocks，我们学习了如何使用字典简化查询，并且深入探讨了新的 JSON 数据类型。

 

• 特色社区成员
• 即将到来的活动
• 24.10 版本发布
• Alexey Milovidov 做客 Data Talks on the Rocks
• 使用 ClickHouse 字典简化查询
• 使用 Alpha Vantage 和 ClickHouse 构建金融数据管道
• 我们如何为 ClickHouse 构建新的强大 JSON 数据类型
• ClickHouse Cloud 实时更新：2024 年 11 月
• 快速阅读
• 本月最佳帖子

 

您要去 re:Invent 吗？我们也要去，并且非常希望能与您交流！

提前通过发送电子邮件至 [email protected] 与我们预约会议，或莅临我们的 1737 号展位，享受

• 与我们的三位创始人：Aaron、Alexey 和 Yury 会面的机会
• 现场演示
• 独家纪念品
• 以及与 ClickHouse 专家交流

不要错过 – 我们还将与 The Chainsmokers 乐队一起举办 ClickHouse 家庭派对。这将是一个您不想错过的史诗般的夜晚！

注册参加 The Chainsmokers 派对

 

本月特色社区成员是 Lukas Biewald，Weights & Biases 的联合创始人兼首席执行官。

Lukas 在机器学习领域工作了 20 年，此前曾与 Chris Van Pelt 共同创立 Figure Eight 公司，该公司专门从事机器学习应用的数据标记。Appen 于 2019 年 3 月收购了该公司。

2018 年，Lukas 共同创立了 Weights & Biases，这是一个 MLOps 平台，旨在帮助机器学习从业者跟踪实验、管理数据集和协作进行模型开发。

Lukas 在 9 月份的 ClickHouse 旧金山聚会上进行了演讲，他在会上分享了自己构建 AI 应用程序的经验，以及他们如何在 Weave 应用程序中使用 ClickHouse。上周发布的博客文章也对此进行了报道。

在 LinkedIn 上关注 Lukas

 

全球活动

• 24.11 版本发布会 - 11 月 28 日
  

免费培训

• 从 Postgres 迁移到 ClickHouse 工作坊 - 线上 - 11 月 27 日
  
• ClickHouse 基础知识 - 线上 - 12 月 4 日
• ClickHouse 瑞典线下培训 - 瑞典 - 12 月 9 日
• ClickHouse 丹麦线下培训 - 丹麦 - 12 月 9 日
• ClickHouse 开发者纽约线下培训 - 纽约曼哈顿 - 12 月 11-12 日
• ClickHouse 开发者培训 - 线上 - 12 月 18-19 日

美洲活动

• Microsoft Ignite - 芝加哥 - 11 月 19-22 日
• AWS re:Invent 2024 - 拉斯维加斯 - 12 月 2-6 日
  
• 纽约聚会 - 12 月 9 日
  
• 旧金山聚会 - 12 月 12 日
  

欧洲、中东和非洲地区活动

• 迪拜聚会 - 11 月 21 日
  
• 巴黎聚会 - 11 月 26 日
• 阿姆斯特丹聚会 - 12 月 3 日
• 斯德哥尔摩聚会 - 12 月 9 日

可刷新的物化视图已准备好投入生产！这是 24.10 版本发布的最大新闻，但我们还使用 CLONE AS 子句简化了表克隆，并且增加了远程文件缓存，这在查询 S3 存储桶时非常有用。

阅读发布公告

 

Data Talks on the Rocks 是一系列对思想领袖和创始人的访谈，讨论数据和分析领域的最新趋势。它由 Rill Data 的首席执行官兼联合创始人 Michael Driscoll 主持。

在第 4 集中，他的嘉宾正是 ClickHouse 的首席技术官兼联合创始人 Alexey Milovidov。在广泛的对话中，他们讨论了哈希函数在数据库设计中的重要性、人工智能在未来可能对数据库技术产生的影响、ClickHouse 新分析器的开发等等。

观看访谈

 

Jeffrey Needles，Aggregations.io 的创始人，撰写了一篇博客文章，解释了如何使用字典简化查询。

Jeffrey 介绍了为什么要使用字典、数据来源以及如何选择正确的键类型，然后演示了在查询中使用字典带来的性能提升。

阅读博客文章

 

Craig Dickson 使用 Alpha Vantage 进行数据采集，并使用 ClickHouse 进行数据存储和分析，构建了一个高性能数据管道。

在查询 Alpha Vantage API 数据后，Craig 在将数据摄取到 ClickHouse Cloud 之前，先在 Pandas 中清理数据。然后，他展示了如何使用 Vega-Altair 创建各种数据可视化。

阅读博客文章

 

新的 JSON 数据类型于 8 月在 24.8 版本中引入，我们在发布公告中展示了一些示例，但没有深入探讨。

所有这些都随着这篇博客文章而改变，Tom Schreiber 和 Pavel Kruglov 在文章中解释了它的底层工作原理。他们解释了新的数据类型如何克服在同一 JSON 路径中包含多种数据类型的值、如何避免将工作推迟到查询时间以及如何防止磁盘上出现大量列数据文件等挑战。

其中包含许多解释其工作原理的图表。ClickHouse 爱好者必读！

阅读博客文章

 

Krithika Balagurunathan 和 Zach Naimon 加入了我们最新的 ClickHouse Cloud 实时更新电话会议。他们分别向我们介绍了自带云和计算-计算分离。

在概述了这些功能并进行了简短的演示之后，Zach 和 Krithika 主持了详细的问答环节，其中包括以下问题

BYOC 是否符合 FedRAMP 要求？是否可以根据资源消耗自动实现水平自动扩展？如何将现有集群迁移到 BYOC？是否可以为读/写节点使用功能强大的实例，而为只读节点使用功能较弱的实例？

查看下面的完整录音，了解这些问题以及更多问题的答案！

观看录音

 

• 这实际上不是一篇快速阅读文章，但 ClickHouse 现在有了官方 Docker 镜像！
• Carl Lindesvärd 发布了一条 Twitter 帖子，内容是他从六个月的 ClickHouse 工作中学到的东西。
• Ravindra Elicherla 将逐笔 Webscocket 数据存储在 ClickHouse 中。
• 我遇到了 Trench，这是一个基于 Apache Kafka 和 ClickHouse 构建的事件跟踪系统。它为 Frigade 的实时事件跟踪管道提供动力，处理大量事件，并提供实时分析
• MetricFire 团队解释了如何使用 Telegraf 和 MetricFire 监控 ClickHouse。
• Triple Whale 的软件工程师 Jesse Grodman 分享了如何在不增加现有集群负载的情况下，将数据从非分片 ClickHouse 集群迁移到分片集群。

 

本月我们最喜欢的帖子是 Steven Tey 关于 ClickHouse 的 arrayIntersect 函数的帖子。

阅读帖子