领先的在线分类信息专家 Adevinta 在全球 11 个国家/地区运营着 25 个以上的平台。其家喻户晓的品牌包括荷兰的 Marktplaats、德国的 Mobile.de 和法国的 Leboncoin,每月覆盖数亿用户。这些平台都专注于配对,帮助人们在当地社区找到他们需要的东西——无论是汽车、公寓、沙发还是新工作。每一次建立的联系或找到的物品,都通过创造一个人们分享更多、浪费更少的世界来发挥作用。
Adevinta 的使命是为在线买卖商品和服务提供最佳的用户体验。为了实现这一目标,Adevinta 需要一个集中的分析和仪表板工具来监控其卖家的广告,跟踪互动并实时提高性能。在评估了 Google BigQuery、Cloud Spanner 和 ClickHouse Cloud 等各种基于云的数据库服务后,他们确定 ClickHouse Cloud 是最具成本效益的选择,可以跨多个市场提供高性能和可扩展性。
面向用户的卖家实时分析和仪表板
Adevinta 的中央数据产品团队负责构建数据和机器学习 (ML) 产品以支持其各种市场。首先,他们专注于特定市场的问题,设计数据解决方案,然后扩展并扩展到其他市场。这带来了复杂的挑战,因为他们需要不断考虑可重用性、正常运行时间和可扩展性等方面。
为了满足其卖家的需求,Adevinta 需要一个面向用户的实时分析和仪表板解决方案,使卖家能够实时监控其广告。这包括跟踪浏览量、收藏和点赞,捕获其市场上发生的每一次互动。
面向用户的性能仪表板实时向卖家展示其广告统计信息
Apollo 广告增长(中央数据产品团队之一)的工程经理 Varun Krishnani 解释说:“我们需要一个能够扩展的解决方案,但也能够以低延迟和高吞吐量提供面向最终用户的分析功能。”几年前,ClickHouse 被选中用于实时分析,并作为自管理环境实施。然而,当 Adevinta 计划将其所有应用程序迁移到云端时,该团队评估了各种解决方案,以确定最适合其需求的方案。
Adevinta 的数据管道利用 Apache Beam Data Flow,在 Google DataFlow 上运行,并结合 Google Cloud Pub Sub 事件总线。通过 Java 客户端访问数据以进行查询。
迁移到云端
Adevinta 评估了几种基于云的数据库服务,包括 ClickHouse Cloud、Google BigQuery 和 Cloud Spanner。
他们的主要需求是
- 功能齐全的数据库服务 - 性能卓越、高效,并具备索引、灾难恢复、备份和恢复等功能。
- 低运营复杂性 - 无需站点可靠性工程师 (SRE),模式演变
- 托管服务且易于扩展
- 云中立 - 锦上添花
- 易于部署和操作 - 管理员用户界面 (UI)、计费积分等
- 丰富的查询语言
- 低延迟、高吞吐量用例,服务级别协议 (SLA) 的响应时间小于 3 秒。
- 当前生产工作负载 - 800 亿行(18TB)
- 使用 SQL 接口进行高度分析的查询
作为评估的一部分,他们需要考虑其典型工作负载。一些工作负载需要在海量数据上处理少量查询,而专门的产品在这一点上表现出色。在另一方面,传统的数据库系统在处理大量针对少量数据的查询方面表现良好。但是,Adevinta 的分析工作负载本质上更具分析性,每秒有几十到几百个请求,介于两者之间。
该团队发现 ClickHouse 针对其特定需求表现出色,因为它性能卓越、云中立且比其他解决方案更具成本效益。相比之下,BigQuery 由于其基于扫描字节计费的定价模式,价格贵了 2 倍,而 Cloud Spanner 对于他们测试的工作负载来说价格贵了 6 倍。Adevinta 选择 ClickHouse Cloud 作为获胜者,因为它符合其预算并为其需求提供了最大价值。
该解决方案在多个市场上进行了测试,每秒 22 个查询,使用包含 200 亿行和 20 TB 数据的单个表。他们相信 ClickHouse 也是面向未来的,因为他们预计每秒查询率和数据量将会增加。
使用 ClickHouse Cloud 提高分析性能和可扩展性
迁移到 ClickHouse Cloud 为 Adevinta 带来的主要好处是消除了对自管理环境的需求。“我们的主要需求之一是不需要任何专用的站点可靠性支持。如果您不使用 ClickHouse Cloud,那么您就没有充分利用 ClickHouse 的潜力”,广告增长团队评论道。
广告增长团队还提到了 ClickHouse 如何非常适合将分析解决方案扩展到 Adevinta 内的多个市场。“例如,考虑执行所有深入分析或 AI 和 ML - 您已经预先准备了数据。ClickHouse 在轻松集成和将更多数据导入数据库实例方面为我们提供了帮助。它非常容易且非常灵活。市场无需花费时间来确定可以执行此操作的技术。”
Adevinta 使用大约 5 倍于其当前工作负载的负载对系统进行了测试。他们对正在考虑使用 ClickHouse 的其他人的建议包括将 Order-By 密钥与查询访问模式相匹配,并确保两者紧密对齐。此外,他们建议对单个工作负载运行基准测试,以根据实际生产数据和查询模式做出数据驱动的决策。他们还指出,当针对已知的查询访问模式进行优化和预配置时,ClickHouse 的效果最佳。
据 Adevinta 称,与 ClickHouse 团队的合作一直是一次积极的体验。“总的来说,与 ClickHouse 的合作是一次有益的体验 - 从入门到执行。支持团队在帮助我们在一个复杂的设置中采用这项技术方面表现出色,”广告增长团队表示。
Adevinta 通过采用 ClickHouse Cloud 进行实时分析,成功满足了其监控广告和实时跟踪用户互动的需求。总的来说,ClickHouse Cloud 为 Adevinta 的在线分类信息业务提供了一个可靠、可扩展且高效的实时分析解决方案。