Adevinta 是领先的在线分类信息专家,在全球 11 个国家运营着 25 个平台。他们的知名品牌包括荷兰的 Marktplaats、德国的 Mobile.de 和法国的 Leboncoin,每月覆盖数亿人。这些平台都是关于配对的,帮助人们在当地社区找到他们想要的一切——无论是汽车、公寓、沙发还是新工作。每次建立的联系或找到的物品都会通过创建一个让人们分享更多、浪费更少的世界来改变世界。
Adevinta 的使命是为在线买卖商品和服务提供最佳的用户体验。为了实现这一目标,Adevinta 需要一个集中的分析和仪表板工具来监控他们的卖家广告,跟踪互动,并实时改进性能。在评估了 Google BigQuery、Cloud Spanner 和 ClickHouse Cloud 等各种基于云的数据库服务之后,他们确定 ClickHouse Cloud 是最具成本效益的选择,可以跨多个市场提供高性能和可扩展性。
面向用户的实时分析和仪表板,供卖家使用
Adevinta 的中央数据产品团队负责构建数据和机器学习 (ML) 产品,以支持其各种市场。首先,他们专注于特定市场问题,设计数据解决方案,然后扩展和扩展到其他市场。这带来了一个复杂的挑战,因为他们需要不断考虑可重用性、正常运行时间和可扩展性等方面。
为了满足卖家的需求,Adevinta 需要一个面向用户的实时分析和仪表板解决方案,使卖家能够实时监控其广告。这包括跟踪查看次数、收藏和点赞,捕获其市场上发生的每一次互动。
面向用户的性能仪表板,实时显示卖家广告统计信息
Apollo Ad-Growth(中央数据产品团队之一)的工程经理 Varun Krishnani 解释说:“我们需要一个可以扩展的解决方案,但同时还需要提供低延迟和高吞吐量的面向最终用户的分析功能。”几年前,ClickHouse 被选中用于实时分析,并作为自托管环境实施。但是,当 Adevinta 计划将其所有应用程序迁移到云端时,该团队评估了各种解决方案,以确定最适合其需求的解决方案。
Adevinta 的数据管道利用 Apache Beam Data Flow(在 Google DataFlow 上运行),并结合 Google Cloud Pub Sub 事件总线。通过 Java 客户端访问数据以进行查询。
迁移到云端
Adevinta 评估了几种基于云的数据库服务,包括 ClickHouse Cloud、Google BigQuery 和 Cloud Spanner。
他们的主要要求是
- 功能齐全的数据库服务 - 性能卓越、高效,具备索引、灾难恢复、备份和恢复等功能。
- 低运营复杂性 - 无需网站可靠性工程师 (SRE),架构演变
- 托管服务,易于扩展
- 云无关 - 可选
- 易于部署和操作 - 管理员用户界面 (UI)、计费积分等
- 丰富的查询语言
- 低延迟、高吞吐量用例,服务级别协议 (SLA) 为 <3 秒响应时间
- 当前生产工作负载 - 800 亿行(18TB)
- 使用 SQL 接口执行高度分析性查询
在评估过程中,他们需要考虑其典型的工作负载。一些工作负载需要处理大量数据的少量查询量,而专门的产品在处理这些方面非常出色。在另一个极端,传统的数据库系统在处理少量数据的许多查询方面表现出色。但是,Adevinta 的分析工作负载本质上更具分析性,每秒有几十到数百个请求,介于两者之间。
该团队发现 ClickHouse 在满足其特定需求方面表现出色,因为它性能卓越、云无关且比其他解决方案更具成本效益。相比之下,BigQuery 由于其基于扫描字节计费的定价模式,价格贵了 2 倍,而 Cloud Spanner 对于他们测试的工作负载价格贵了 6 倍。Adevinta 选择 ClickHouse Cloud 作为赢家,因为它符合其预算,并为其需求提供了最大价值。
该解决方案在多个市场上进行了测试,每秒 22 个查询,使用一个包含 200 亿行和 20TB 数据的单表。他们相信 ClickHouse 也是面向未来的,因为他们预计每秒查询速率和数据量会增加。
使用 ClickHouse Cloud 提高分析性能和可扩展性
对于 Adevinta 来说,迁移到 ClickHouse Cloud 的主要好处是无需自托管环境。“我们有一个主要要求,那就是不使用任何专用的网站可靠性支持。如果你不使用 ClickHouse Cloud,你就没有充分利用 ClickHouse 的潜力,”Ad-Growth 团队评论道。
Ad-Growth 团队还提到了 ClickHouse 如何非常适合将分析解决方案扩展到 Adevinta 内部的多个市场。“例如,考虑执行所有深入的分析,或者执行 AI 和 ML——您已经拥有预处理好的数据。ClickHouse 帮助我们在将更多数据轻松集成和引入数据库实例方面。它非常容易且超级灵活。市场无需花费时间弄清楚可以执行此操作的技术。”
Adevinta 使用其当前工作负载的大约 5 倍对系统进行了测试。他们对考虑使用 ClickHouse 的其他人的建议包括将 Order-By 密钥与查询访问模式匹配,并确保两者紧密对齐。此外,他们建议对各个工作负载运行基准测试,以根据真实生产数据和查询模式做出数据驱动的决策。他们还注意到,ClickHouse 在针对已知的查询访问模式进行优化和预配置时最有效。
据 Adevinta 表示,与 ClickHouse 团队的合作一直是一次积极的体验。“总的来说,与 ClickHouse 的合作是一次有益的体验——从入门到执行。支持团队在帮助复杂环境中的技术采用方面非常出色,”Ad-Growth 团队说。
Adevinta 通过使用 ClickHouse Cloud 进行实时分析的旅程,证明了它成功满足了其对实时监控广告和跟踪交互的需求。总的来说,ClickHouse Cloud 为 Adevinta 的在线分类广告业务提供了一个可靠、可扩展且高效的实时分析解决方案。