Adevinta 是一家领先的在线分类广告专家,在全球 11 个国家运营着 25 多个平台。他们的知名品牌包括荷兰的 Marktplaats、德国的 Mobile.de 和法国的 Leboncoin,每月覆盖数亿人。这些平台都旨在进行撮合,帮助人们在当地社区找到他们正在寻找的任何东西——无论是汽车、公寓、沙发还是新工作。每一次建立的联系或找到的物品都通过创造一个人们更多分享、更少浪费的世界而发挥作用。
Adevinta 的使命是为在线买卖商品和服务提供最佳用户体验。为了实现这一目标,Adevinta 需要一个集中的分析和仪表板工具来监控其卖家的广告、跟踪互动并实时提高绩效。在评估了各种基于云的数据库服务(如 Google BigQuery、Cloud Spanner 和 ClickHouse Cloud)之后,他们确定 ClickHouse Cloud 是最具成本效益的选择,可以在多个市场中提供高性能和可扩展性。
面向用户的卖家实时分析和仪表板
Adevinta 的中央数据产品团队的任务是构建数据和机器学习 (ML) 产品,以支持其各种市场。首先,他们专注于特定的市场问题,设计数据解决方案,然后扩展和扩展到其他市场。这提出了一个复杂的挑战,因为他们需要不断考虑可重用性、正常运行时间和可扩展性等方面。
为了满足卖家的需求,Adevinta 需要一个面向用户的实时分析和仪表板解决方案,使卖家能够实时监控他们的广告。这包括跟踪浏览量、收藏夹和点赞,捕获其市场中发生的每次互动。
面向用户的绩效仪表板,实时向卖家显示其广告统计数据
Apollo Ad-Growth 工程经理 Varun Krishnani 是中央数据产品团队之一,他解释说:“我们需要一个可以扩展的解决方案,但也要提供具有低延迟和高吞吐量的面向最终用户的分析功能。” 几年前,ClickHouse 被选中用于实时分析,并作为自我管理的环境实施。但是,当 Adevinta 计划将其所有应用程序迁移到云端时,该团队评估了各种解决方案,以确定最适合其需求的方案。
Adevinta 的数据管道利用 Apache Beam Data Flow,在 Google DataFlow 上运行,并结合 Google Cloud Pub Sub 事件总线。数据通过 Java 客户端访问以进行查询。
迁移到云端
Adevinta 评估了多种基于云的数据库服务,包括 ClickHouse Cloud、Google BigQuery 和 Cloud Spanner。
他们的主要要求是
- 功能齐全的数据库服务 - 性能良好、高效,具有索引、灾难恢复、备份和还原等功能。
- 低运营复杂性 - 无需站点可靠性工程师 (SRE),模式演变
- 托管服务且易于扩展
- 云不可知 - 锦上添花
- 易于部署和操作 - 管理员用户界面 (UI)、账单额度等
- 丰富的查询语言
- 低延迟、高吞吐量用例,服务级别协议 (SLA) 的响应时间 < 3 秒
- 当前生产工作负载 - 800 亿行(18TB)
- 具有 SQL 接口的高度分析性查询
作为评估的一部分,他们需要考虑其典型工作负载。某些工作负载需要处理少量查询和大量数据,而专用产品在这方面表现出色。另一方面,传统数据库系统在处理大量查询和少量数据方面表现良好。但是,Adevinta 的分析工作负载更具分析性,每秒有数十到数百个请求,并且介于两者之间。
该团队发现 ClickHouse 非常适合他们的特定需求,因为它性能良好、云不可知,并且比其他解决方案更具成本效益。相比之下,BigQuery 的价格是其 2 倍,因为其定价模型按扫描的字节数收费,而 Cloud Spanner 对于他们测试的工作负载来说是其 6 倍。Adevinta 选择 ClickHouse Cloud 作为赢家,因为它符合他们的预算,并为他们的需求提供了最大的价值。
该解决方案在多个市场中进行了测试,每秒 22 个查询,使用包含 200 亿行和 20TB 数据的单个表。他们确信 ClickHouse 也具有面向未来的能力,因为他们预计每秒查询率和数据量都会增加。
通过 ClickHouse Cloud 提高分析性能和可扩展性
迁移到 ClickHouse Cloud 对 Adevinta 的主要好处是消除了对自我管理环境的需求。“我们的一项主要要求是不需要任何专门的站点可靠性支持。如果您不使用 ClickHouse Cloud,您就没有充分利用 ClickHouse 的潜力”,Ad-Growth 团队评论道。
Ad-Growth 团队还提到了 ClickHouse 如何非常适合将分析解决方案扩展到 Adevinta 内的多个市场。“例如,想想进行所有深入的分析,或 AI 和 ML - 您已经预先准备好了数据。ClickHouse 在轻松集成和将更多数据载入数据库实例方面对我们有所帮助。它非常简单且超级灵活。市场无需花费时间来弄清楚哪种技术可以做到这一点。”
Adevinta 使用大约 5 倍于当前工作负载的量测试了该系统。他们对其他考虑 ClickHouse 的人的建议包括将 Order-By 键与查询访问模式相匹配,并确保两者紧密对齐。此外,他们建议在各个工作负载上运行基准测试,以根据真实的生产数据和查询模式做出数据驱动的决策。他们还指出,ClickHouse 在针对已知的查询访问模式进行优化和预配置时最为有效。
根据 Adevinta 的说法,与 ClickHouse 团队的合作体验非常积极。“总的来说,与 ClickHouse 的合作体验非常棒 - 从入职到执行。支持团队在复杂设置中帮助采用技术方面做得非常出色”,Ad-Growth 团队说道。
Adevinta 转向 ClickHouse Cloud 进行实时分析的历程已证明在其满足实时监控广告和跟踪互动需求方面是成功的。总的来说,ClickHouse Cloud 为 Adevinta 的在线分类广告业务提供了可靠、可扩展且高效的实时分析解决方案。