DoubleCloud 即将停止运营。在有限时间内,您可以免费迁移到 ClickHouse 并享受迁移服务。立即联系我们 ->->

博客 / 用户故事

MessageBird 如何使用 ClickHouse 监控数十亿条消息的发送

author avatar
Elissa Weve
2023 年 8 月 14 日

MessageBird 是一款云通信平台,通过无缝、情景化的对话连接企业和客户。MessageBird 为 29000 多个客户处理数十亿条消息、电话和电子邮件,高度依赖数据驱动的洞察力来提高运营效率。ClickHouse 是一款强大的分析后端,自 2017 年以来一直是提供这些洞察力的关键,支持各种功能,例如监控短信的发送性能,为面向客户的仪表板和 API 提供支持。

实时分析:推动面向客户的仪表板和 API

在 MessageBird,ClickHouse 是公司实时分析能力的关键。该系统提供实时数据,直接为其面向客户的仪表板和 API 提供支持。ClickHouse 支持高容量数据摄取和低响应时间的特性,这意味着客户查询可以快速准确地得到解答。

了解客户行为并实时向他们提供他们需要的信息对于 MessageBird 至关重要。无论是使用统计数据、计费明细还是性能指标,ClickHouse 提供的数据都可立即供最终用户使用,从而提高交互和参与度。

正如 MessageBird 的高级数据工程师 Javier Llorente 解释的那样:“我认为当您需要在庞大的数据集上执行分析查询,并且需要在几秒钟内获得快速响应时,ClickHouse 是最佳的解决方案之一。我认为 ClickHouse 非常适合 MessageBird 的需求。”

性能监控:保证运营卓越

性能监控对于 MessageBird 至关重要。从其 ClickHouse 驱动的基础设施中获取的指标使团队能够跟踪短信发送性能并及时识别异常。

ClickHouse 的多功能性在支持内部和外部用例方面发挥着至关重要的作用。在 MessageBird 内部,同一个 ClickHouse 集群用于各种功能。为了确保最佳性能,根据具体用例设置不同的策略和配额。“尽管我们使用同一个 ClickHouse 集群来执行各种功能,但我们根据用例设置了不同的策略和配额。这使我们能够控制查询的超时时间并有效地管理资源消耗。”Llorente 说。

他们对 ClickHouse 的内部利用使他们的团队能够近乎实时地利用数据。正如 MessageBird 的高级工程经理 Dennis van der Vliet 所解释的那样:“当客户对发送到特定国家的短信提出疑问时,我们的工具(由 ClickHouse 提供支持)成为了了解情况的首选资源。”

MessageBird 使用 ClickHouse 进行云迁移

MessageBird 于 2017 年首次采用 ClickHouse,从 MySQL 上的自定义 cron 设置迁移,这是由于可扩展性和延迟方面的挑战。为了进一步扩展其服务并管理不断增长的数据量,MessageBird 从自托管、内部部署解决方案迁移到 ClickHouse Cloud。这种迁移是由对更可扩展、更具弹性和更高效的数据基础设施的需求驱动的,但这也受到成本因素的重大影响。

迁移到 ClickHouse Cloud 带来了显著的好处,包括从 SSD 存储迁移到更经济的 S3 存储,从而节省了大量成本。此外,在 ClickHouse 中使用 Projection 由于 S3 的低数据存储成本而变得更加经济高效。

ClickHouse Cloud 的成本效益

自迁移到 ClickHouse Cloud 以来,MessageBird 已经节省了大量成本,成本降低了大约 60-70%。这种节省不仅与自托管费用等直接成本有关,还与维护和基础设施管理相关的间接成本有关。根据他们的经验,迁移到 ClickHouse Cloud 在经济上意义重大。

ClickHouse Cloud 的可扩展性和性能优势

除了节省成本之外,迁移到 ClickHouse Cloud 还带来了巨大的可扩展性和性能改进。最近发生了一起数据量增加导致性能下降的事件。在云迁移之前,这种情况可能会升级为重大事件,因为之前自托管设置的扩展复杂性。但是,借助 ClickHouse Cloud,解决问题非常简单。

“我只需打开我的电脑,在 ClickHouse Cloud 控制台中扩展服务,并向他们保证性能将在 20 分钟内得到改善,而不是像我们之前自托管设置那样升级为事件。”van der Vliet 说。

这个例子完美地说明了基于云的基础设施如何使 MessageBird 能够快速响应性能问题,确保服务连续性。

MessageBird 的 ClickHouse Cloud 架构

MessageBird Architecture.png

MessageBird 在 ClickHouse Cloud 中的架构集成了多种现代云技术。数据摄取层涉及一个摄取服务,该服务将数据从 Google Pub/Sub 移动到 ClickHouse,使用在 Google Cloud Dataflow 上运行的 Apache Beam 管道。用于查找查询的数据存储在 BigTable 中,BigTable 提供低延迟和高吞吐量。MessageBird 利用 ClickHouse 的 CollapsingMergeTree 表引擎的功能,确保仅查询行的最新版本。

ClickHouse 的优势:Projection

Projection 在 ClickHouse 中提供了一种加速查询性能的能力,方法是为常用转换或聚合函数存储预先计算的结果。此功能显着提高了查询性能,尤其是在复杂分析查询中,这些查询可能需要扫描大量数据或执行昂贵的操作。随着迁移到 ClickHouse Cloud,Projection 对 MessageBird 来说变得更加经济高效。由于自托管设置依赖于 SSD,因此维护 Projection 的额外存储可能会由于每 GB 存储成本高而变得昂贵。但是,随着迁移到 ClickHouse Cloud 以及转向 S3 存储,Projection 现在以更低的成本提供。

总结

ClickHouse 已证明是 MessageBird 的必不可少的工具,推动了其实时分析和性能监控能力。通过迁移到 ClickHouse Cloud,MessageBird 能够轻松处理高摄取流量并节省成本。使用 ClickHouse 的独特功能,如 Projection 和特定表引擎,符合该公司对效率和创新的承诺。随着 MessageBird 继续前进,ClickHouse 将成为其强大、可扩展且具有成本效益的数据基础设施的关键组成部分。

了解更多信息:https://messagebird.com/

分享此文章

订阅我们的新闻通讯

关注功能发布、产品路线图、支持和云服务!
正在加载表单...
关注我们
Twitter imageSlack imageGitHub image
Telegram imageMeetup imageRss image