印度金融科技公司 Juspay 使用 ClickHouse 为其端到端支付解决方案和实时商户仪表板提供 A/B 测试和监控支持。Juspay 每天为亚马逊、谷歌和沃达丰等客户处理超过 5000 万笔交易,选择 ClickHouse 是因为它能够处理大量数据。
Juspay 已成为支付行业中的先驱,始终在这个领域推动创新。Juspay 致力于简化商家的在线支付流程,充当支付提供商和商家系统之间的中介。
为了确保企业拥有无缝的交易环境,Juspay 必须提供监控和分析服务,以保证支付系统按预期运行。Juspay 需要一个能够帮助他们做出数据驱动决策的解决方案。
面对种类繁多的商家及其不断变化的需求,Juspay 必须跟上频繁的发布节奏,通常每天进行多次发布,无论是分阶段发布还是全面发布。因此,他们需要一个监控解决方案,使其能够保持快速发布的步伐,同时确保最新发布不会影响正在运行的支付系统。
Juspay 使用 ClickHouse 改善 A/B 测试的历程
ClickHouse 被选中作为解决方案,以满足 Juspay 关键的 A/B 测试和监控需求。作为支付协调器,Juspay 有数千个与支付、支付网关和不同支付方式相关的参数。因此,新版本对各个维度的潜在影响是巨大的。
ClickHouse 使 Juspay 能够比较 A 版本和 B 版本之间的成功率百分比,并通过显示较低的成功率来确定新版本是否性能不佳。在这种情况下,会进行回滚操作,这在预期新版本可以提高性能但最终影响其他服务的情况下尤其有用。
传统的关联数据库由于 A/B 测试产生的海量数据而无法执行此级别的分析。这些测试涵盖过去七天的交易,每天产生约 600GB 的数据,相当于大约 4TB。使用 ClickHouse,Juspay 可以按所有低基数字段的列进行分组,这可能涉及每天 5000 万笔交易的 10,000 个维度。
使用 ClickHouse 进行 A/B 测试和监控
为了进行监控和 A/B 测试,Juspay 使用了 Kafka、ClickHouse 和 Grafana 的组合。他们在 Kafka 中监控活动日志并执行转换,然后利用 Kafka 队列通过 Kafka 引擎将数据传输到 ClickHouse。
Grafana 用于可视化和分析 A/B 测试数据
使用 ClickHouse 实现实时商户仪表板
Juspay 还需要一个解决方案,为其商家提供实时分析和系统性能的实时视图。使用 ClickHouse,商家可以轻松跟踪他们的交易,并实时监控其成功或失败状态。
ClickHouse 的架构涉及使用 bash 脚本 CRON 作业进行 ETL(提取、转换、加载)流程,并将数据导入系统。然后,这些数据用于创建自定义仪表板以进行实时分析。
使用 ClickHouse 创建的商家的实时分析仪表板
切换到 ClickHouse 后运营成本降低 10 倍
Juspay 之前一直在使用 GCP 的 BigQuery,但数据扫描的成本迅速增加,每天超过 1000 美元。因此,为了降低支出,他们寻求了一种更经济高效的解决方案。
通过将此工作负载切换到 ClickHouse,他们在运营支出方面实现了 10 倍的成本降低。BigQuery 仍然用于某些类型的查询,例如,在报告特定 ID 以及需要对 ID 进行连接的情况下。但是,对于所有聚合和实时分析,他们都使用 ClickHouse。ClickHouse 不仅以惊人的效率解决了他们的问题,而且需要的基础设施投资也远少于 BigQuery。
“ClickHouse 以极低的基础设施成本高效地解决了我们的大部分问题。这在我们看来是一个巨大的优势,”该项目软件开发工程师 Tamil Selvan 表示。
最大化 ClickHouse 的优势
ClickHouse 是一个高性能数据平台,提供汇总和视图,允许对原始数据进行受控访问。这有助于防止数据使用错误,例如连接高基数字段,并有效地管理资源。
“ClickHouse 具有许多优点;但是我们建议不要将其视为黑盒。尽管您可以运行任何类型的查询并获取数据,但最好以正确的方式使用 ClickHouse 以充分利用所有优势。如果您遵循文档,就不会出错,”Selvan 说。
通过选择 ClickHouse,Juspay 能够降低运营成本并继续为其商家提供尽可能好的体验。ClickHouse 先进的数据处理能力和高效的成本结构使其成为明智之选。