西雅图聚会报告：使用 ClickHouse 进行 PB 级网站行为分析（微软）

2023年1月18日，微软在雷德蒙德的办公室举办了一场 ClickHouse 社区聚会。WebXT 团队展示了他们使用 ClickHouse 开发的两个分析产品：Microsoft Clarity 和 Titan。Microsoft Clarity 是一款免费工具，可为网站所有者提供洞察力，帮助他们做出更好的业务决策，无需数据科学团队或仪器管道。

Narendra Rana，微软 Clarity Insights 团队的首席数据科学家，解释了 Clarity 的架构，团队在集成 ClickHouse 时面临的挑战，以及他们如何克服这些挑战以创建高效、健壮且符合 GDPR 的分析平台。

Microsoft Clarity 旨在每天处理数十亿次页面浏览量、PB 级数据、数百万个网站和数亿用户。Clarity 设置简单，用户可以访问 clarity.microsoft.com，下载 JavaScript 包并将其安装到他们的网站上。在 30 分钟内，数据将开始流入专用于用户网站的仪表板。仪表板提供有助于网站所有者改进其网站的见解。他们可以查看会话录制、热图、滚动图，并深入了解其网站的性能。会话不会被采样，所有数据都会进入，这对网站管理员来说是一个巨大的优势。

演示文稿包括一个现场演示，其中向观众展示了网站管理员如何选择一个会话并查看其最终用户的交互。Microsoft Clarity 提供热图，以帮助汇总和显示最终用户的交互。Rana 解释说，创建热图是一个复杂的操作，涉及一个大型查询，这非常适合 ClickHouse。“像查看热图这样简单的操作基本上就是一个大型查询。并且由于大量数据同时被摄取，我们查看了许多现有的选项……我们意识到，是的，ClickHouse 正是我们想要押注的东西”，Rana 说。

Clarity 中的热图，一个涉及 ClickHouse 中大型查询的复杂操作。

该团队与 ClickHouse 创建者 Alexey Milovidov 合作克服了挑战，主要是在 Azure 上进行备份和恢复，这是他们投入大量时间的地方。Rana 分享了团队在构建此系统方面的经验，该系统可供其他团队（内部和外部）使用，这些团队希望获得高效、健壮且一致的备份，而无需任何停机时间。

数百万行数据正在被摄取，同时数千个查询正在执行。

增量快照是 Azure 的一项功能，它允许在数据摄取仍在进行时进行增量备份。与 Azure 提供的原始快照相比，这是一种更经济高效的解决方案。冻结和同步命令用于同步缓存和磁盘，并且定期使用自动验证来测试备份和还原流程。

微软数据和分析高级总监 Satish Manivannan 对 ClickHouse 表达了他的热情，他说：“关键在于，我们真的很喜欢 ClickHouse，我们希望在未来几年继续进行更多合作。”总的来说，这次聚会是一个绝佳的机会，可以了解微软如何使用 ClickHouse 及其对网站分析的好处。

• 此演讲在 2023年1月18日微软雷德蒙德办公室举办的ClickHouse 社区聚会上发表
• 在我们的聚会报告中，了解更多有关 Titan 中 ClickHouse 的信息，Titan 是一个内部数据分析工具，可为微软提供自助式分析功能。