MessageBird 如何使用 ClickHouse 监控数十亿消息的交付

MessageBird 是一个云通信平台，通过无缝、情境化的对话连接企业和客户。MessageBird 为 29,000 多家客户处理数十亿条消息、通话和电子邮件，在很大程度上依赖于数据驱动的洞察力来实现高效运营。ClickHouse 作为一个强大的分析后端，自 2017 年以来一直是提供这些洞察力的重要组成部分，支持监控短信交付性能以及为面向客户的仪表板和 API 提供支持等功能。

在 MessageBird，ClickHouse 是公司实时分析能力不可或缺的一部分。该系统提供直接为面向客户的仪表板和 API 提供支持的实时数据。ClickHouse 支持高容量数据摄取和低响应时间的能力意味着可以快速准确地回答客户查询。

了解客户行为并实时向他们提供所需信息对于 MessageBird 至关重要。无论是使用统计数据、账单详情还是性能指标，由 ClickHouse 提供支持的数据都可立即供最终用户使用，从而提高互动和参与度。

正如 MessageBird 的高级数据工程师 Javier Llorente 解释说：“我认为当您需要对庞大的数据集执行分析查询，并且需要在几秒钟内获得快速响应时，ClickHouse 确实是最好的（解决方案）之一。我认为这就是 ClickHouse 非常适合 MessageBird 的地方。”

性能监控对于 MessageBird 至关重要。从其 ClickHouse 驱动的数据基础设施中提取的指标使团队能够跟踪短信交付性能并及时识别异常。

ClickHouse 的多功能性在支持内部和外部用例方面发挥着至关重要的作用。在 MessageBird 内部，同一个 ClickHouse 集群用于各种功能。为了确保最佳性能，根据具体用例设置了不同的策略和配额。“尽管我们对各种功能使用同一个 ClickHouse 集群，但我们根据用例设置了不同的策略和配额。这使我们能够控制查询超时并有效地管理资源消耗，”Llorente 说。

他们对 ClickHouse 的内部利用使他们的团队能够近乎实时地利用数据。正如 MessageBird 的高级工程经理 Dennis van der Vliet 解释说：“当客户对特定国家/地区的消息传递提出疑虑时，我们的工具（由 ClickHouse 提供支持）将成为了解情况的首选资源。”

MessageBird 于 2017 年首次采用 ClickHouse，由于可扩展性和延迟挑战，从 MySQL 上的自定义 cron 设置转型而来。为了进一步扩展其服务并管理不断增长的数据量，MessageBird 从自我管理的本地解决方案迁移到 ClickHouse Cloud。这种转型是由对更具可扩展性、弹性和高效的数据基础设施的需求驱动的，但也受到成本因素的重大影响。

迁移到 ClickHouse Cloud 带来了显著的好处，包括从 SSD 存储转向更经济的 S3 存储带来的巨大成本节省。此外，由于 S3 的低数据存储成本，在 ClickHouse 中使用 Projections 变得更具成本效益。

自从迁移到 ClickHouse Cloud 以来，MessageBird 经历了显著的成本节省，成本降低了约 60-70%。这种节省不仅与直接成本（例如，自托管费用）有关，而且还与维护和基础设施管理相关的管理费用有关。根据他们的经验，迁移到 ClickHouse Cloud 在经济上具有相当大的意义。

除了成本节省外，他们转向 ClickHouse Cloud 还带来了显著的可扩展性和性能改进。最近出现了一种情况，数据量增加导致人们担心性能下降。在云迁移之前，由于以前的自托管设置的可扩展性复杂性，这种情况可能会升级为重大事件。但是，借助 ClickHouse Cloud，解决这种情况非常简单。

“与其像以前的自托管设置中那样升级为事件，我只是打开我的计算机，在 ClickHouse Cloud 控制台中扩展了服务，并向他们保证性能应该在 20 分钟左右得到改善，”van der Vliet 说。

这个例子完美地概括了基于云的基础设施如何使 MessageBird 能够快速响应性能故障，从而确保服务连续性。

MessageBird 在 ClickHouse Cloud 中的架构集成了多种现代云技术。数据摄取层涉及一个摄取服务，该服务使用在 Google Cloud Dataflow 上运行的 Apache Beam 管道将数据从 Google Pub/Sub 移动到 ClickHouse 中。用于查找查询的数据存储在 BigTable 中，BigTable 提供低延迟和高吞吐量。MessageBird 利用 ClickHouse 的 CollapsingMergeTree 表引擎的功能来确保仅查询最新版本的行。

Projections（投影）在 ClickHouse 中提供了通过存储常用转换或聚合函数的预计算结果来加速查询性能的能力。此功能显著提高了查询性能，特别是对于复杂的分析查询，否则这些查询将需要扫描大量数据或执行成本高昂的操作。随着迁移到 ClickHouse Cloud，投影对于 MessageBird 而言变得更具成本效益。由于自管理设置依赖于 SSD，因此由于每 GB 存储成本高昂，维护用于投影的额外存储可能会很昂贵。但是，随着迁移到 ClickHouse Cloud 以及转向 S3 存储，现在可以以更低的成本获得投影。

事实证明，ClickHouse 是 MessageBird 的重要工具，推动了其实时分析和性能监控能力。通过迁移到 ClickHouse Cloud，MessageBird 能够轻松处理高摄取流量并节省成本。使用 ClickHouse 的独特功能（如投影和特定表引擎）符合该公司对效率和创新的承诺。随着 MessageBird 继续其征程，ClickHouse 将成为其强大、可扩展且经济高效的数据基础设施的关键组成部分。

了解更多：https://messagebird.com/