Adevinta 是一家领先的在线分类广告专家,在全球 11 个国家/地区运营着 25 多个平台。他们的知名品牌包括荷兰的 Marktplaats、德国的 Mobile.de 和法国的 Leboncoin,每月覆盖数亿人。这些平台都旨在进行匹配,帮助人们在当地社区找到他们想要的任何东西——无论是汽车、公寓、沙发还是新工作。每一次建立的连接或找到的物品都通过创造一个人人分享更多、浪费更少的世界而发挥作用。
Adevinta 的使命是为在线买卖商品和服务提供最佳用户体验。为了实现这一目标,Adevinta 需要一个集中式分析和仪表板工具来监控其卖家的广告、跟踪互动并实时提高绩效。在评估了 Google BigQuery、Cloud Spanner 和 ClickHouse Cloud 等各种基于云的数据库服务后,他们确定 ClickHouse Cloud 是最具成本效益的选择,可以在多个市场提供高性能和可扩展性。
面向用户的卖家实时分析和仪表板
Adevinta 的中央数据产品团队的任务是构建数据和机器学习 (ML) 产品,以支持其各种市场。首先,他们专注于特定的市场问题,设计数据解决方案,然后扩展和扩展到其他市场。这带来了一个复杂的挑战,因为他们需要不断考虑可重用性、正常运行时间和可扩展性等方面。
为了满足卖家的需求,Adevinta 需要一个面向用户的实时分析和仪表板解决方案,使卖家能够实时监控他们的广告。这包括跟踪浏览量、收藏夹和点赞,捕获其市场上发生的每一次互动。
面向用户的性能仪表板,实时向卖家展示他们的广告统计信息
Apollo Ad-Growth 工程经理 Varun Krishnani 是中央数据产品团队之一,他解释说:“我们需要一个可以扩展的解决方案,但也要提供低延迟和高吞吐量的终端用户分析功能。” 几年前,ClickHouse 被选中用于实时分析,并作为自管理环境实施。然而,当 Adevinta 计划将其所有应用程序迁移到云端时,该团队评估了各种解决方案,以确定最适合他们需求的方案。
Adevinta 的数据管道利用在 Google DataFlow 上运行的 Apache Beam Data Flow,结合 Google Cloud Pub Sub 事件总线。数据通过 Java 客户端访问以进行查询。
迁移到云端
Adevinta 评估了几种基于云的数据库服务,包括 ClickHouse Cloud、Google BigQuery 和 Cloud Spanner。
他们的主要要求是
- 功能完善的数据库服务 - 性能良好、高效,具有索引、灾难恢复、备份和还原等功能。
- 低运营复杂性 - 无需站点可靠性工程师 (SRE),模式演变
- 托管服务且易于扩展
- 云不可知 - 最好有
- 易于部署和操作 - 管理员用户界面 (UI)、账单积分等
- 丰富的查询语言
- 低延迟、高吞吐量用例,服务级别协议 (SLA) 的响应时间 <3 秒
- 当前生产工作负载 - 800 亿行(18 TB)
- 具有 SQL 接口的高度分析查询
作为评估的一部分,他们需要考虑其典型工作负载。有些工作负载需要处理少量查询但数据量庞大,而专用产品在这方面表现出色。另一方面,传统数据库系统在处理大量查询但数据量较小的情况下表现良好。然而,Adevinta 的分析工作负载更偏向分析性质,每秒有数十到数百个请求,介于两者之间。
该团队发现 ClickHouse 非常适合他们的特定需求,因为它性能良好、云不可知,并且比其他解决方案更具成本效益。相比之下,BigQuery 的价格是其两倍,因为它采用基于扫描字节数的定价模式,而 Cloud Spanner 对于他们测试的工作负载来说,价格是其六倍。Adevinta 选择 ClickHouse Cloud 作为优胜者,因为它在他们的预算范围内,并为其需求提供了最高的价值。
该解决方案在多个市场上进行了测试,每秒 22 个查询,使用包含 200 亿行和 20 TB 数据的单个表。他们确信 ClickHouse 也具有面向未来的能力,因为他们预计每秒查询率和数据量都会增加。
通过 ClickHouse Cloud 提高分析性能和可扩展性
对于 Adevinta 而言,迁移到 ClickHouse Cloud 的主要好处是无需自管理环境。“我们的一项主要要求是不需要任何专门的站点可靠性支持。如果您不使用 ClickHouse Cloud,您就没有充分利用 ClickHouse 的潜力”,Ad-Growth 团队评论道。
Ad-Growth 团队还提到 ClickHouse 非常适合将分析解决方案扩展到 Adevinta 内的多个市场。“例如,想想进行所有深入分析或 AI 和 ML - 您已经预先准备好了数据。ClickHouse 在轻松集成和将更多数据载入数据库实例方面为我们提供了帮助。它非常简单且超级灵活。市场无需花费时间来弄清楚哪种技术可以做到这一点。”
Adevinta 使用大约 5 倍于当前工作负载的量测试了该系统。他们对其他考虑使用 ClickHouse 的人的建议包括将 Order-By 键与查询访问模式相匹配,并确保两者紧密对齐。此外,他们建议根据实际生产数据和查询模式,对各个工作负载运行基准测试,以做出数据驱动的决策。他们还指出,ClickHouse 在针对已知的查询访问模式进行优化和预配置时最有效。
据 Adevinta 称,与 ClickHouse 团队合作的体验非常积极。“总的来说,与 ClickHouse 合作的体验非常 rewarding - 从入职到执行。支持团队在帮助我们在复杂的设置中采用技术方面做得非常出色,”Ad-Growth 团队说道。
Adevinta 采用 ClickHouse Cloud 进行实时分析的旅程已被证明成功地满足了他们实时监控广告和跟踪互动需求。总的来说,ClickHouse Cloud 为 Adevinta 的在线分类广告业务提供了一个可靠、可扩展且高效的实时分析解决方案。