西雅图 Meetup 报告：使用 ClickHouse 进行 PB 级网站行为分析 (Microsoft)

2023 年 1 月 18 日，微软在其雷德蒙德办公室举办了一次 ClickHouse 社区聚会。WebXT 团队介绍了他们使用 ClickHouse 的两款分析产品：Microsoft Clarity 和 Titan。Microsoft Clarity 是一款免费工具，为网站所有者提供洞察力，帮助他们做出更好的业务决策，而无需数据科学团队或仪表管道。

微软 Clarity Insights 团队的首席数据科学家 Narendra Rana 解释了 Clarity 的架构、团队在集成 ClickHouse 时面临的挑战，以及他们如何克服这些挑战，创建了一个高效、稳健且符合 GDPR 的分析平台。

Microsoft Clarity 旨在处理数十亿的页面浏览量、PB 级数据、数百万个网站和每天数亿的用户。Clarity 设置简单，用户可以访问 clarity.microsoft.com，下载 JavaScript 包并将其安装在他们的网站上。30 分钟内，数据将开始流入用户站点的专用仪表板。仪表板提供洞察力，帮助网站所有者改进他们的网站。他们可以看到会话记录、热图、滚动图，并更深入地了解他们网站的性能。会话不进行抽样，所有数据都会进入，这对网站管理员来说是一个显着的优势。

演示包括现场演示，向观众展示了网站管理员如何选择会话并查看其最终用户的互动。Microsoft Clarity 提供热图，帮助聚合和显示最终用户的互动。Rana 解释说，创建热图是一个复杂的操作，涉及到一个大型查询，这非常适合 ClickHouse。“像查看热图这样的简单操作基本上是一个大型查询。并且在发生这种情况的同时，大量数据正在被摄取。我们研究了外面的许多选项……我们意识到，是的，ClickHouse 是我们将会押注的东西”，Rana 说。

Clarity 中的热图，ClickHouse 中涉及大型查询的复杂操作。

该团队与 ClickHouse 的创建者 Alexey Milovidov 合作克服了挑战，主要是 Azure 上的备份和恢复，他们在那里投入了大量时间。Rana 分享说，团队在构建这个系统方面的经验可以被其他希望获得高效、稳健且一致的备份而无需任何停机的内部和外部团队所利用。

数百万行数据正在被摄取，同时执行数千个查询。

增量快照是 Azure 的一项功能，可以在数据摄取仍在发生时实现增量备份。这比 Azure 提供的原始快照更具成本效益。Freeze 和 Sync 命令用于同步缓存和磁盘，自动化验证用于定期测试备份和恢复过程。

微软数据和分析高级主管 Satish Manivannan 表达了他对 ClickHouse 的热情，他说：“关键是，我们真的很喜欢 ClickHouse，我们希望在未来几年有更多的持续合作。” 总的来说，这次聚会是了解微软如何使用 ClickHouse 及其对网站分析的好处的绝佳机会。

• 本次演讲在 2023 年 1 月 18 日在雷德蒙德微软办公室举行的 ClickHouse 社区聚会上进行。
• 在我们的聚会报告中，了解更多关于 Titan 中 ClickHouse 的信息，Titan 是微软内部数据分析工具，为微软实现自助分析。