纽约聚会报告：Vantage 从 Redshift 和 Postgres 迁移到 ClickHouse 的旅程

2023 年 4 月 26 日，Rokt 在其曼哈顿办公室主办了一场 ClickHouse 社区聚会。我们有幸听取了 Vantage 联合创始人兼 CTO Brooke McKim 的演讲，她分享了他们从 Redshift 和 Postgres 过渡到 ClickHouse 的经验。在他们的演讲中，他们带领我们回顾了 Vantage 的旅程，讨论了他们之前架构的挑战、切换到 ClickHouse 的决定以及自迁移以来他们看到的优势。

Vantage 是一个云成本优化平台，使团队能够管理和优化他们在十个云基础设施和服务提供商（如 AWS、Azure、Google Cloud、Datadog、New Relic、Snowflake、Databricks、Fastly、MongoDB Atlas 和 Kubernetes）上的云成本。他们的 Autopilot 托管服务通过自动买卖财务承诺来优化 AWS 账单，从而节省高达 72% 的成本。

Vantage 用户界面 (UI) 提供了所有相关数据的全面视图，具有用于筛选、聚合和报告的功能。一个突出的功能是能够深入研究特定维度。例如，如果您正在查看 Amazon 的 S3 服务的成本，您可以单击该类别并进一步细分。即使对于较大的账户，这些账户可能包含跨越六到十二个月的数十亿条记录，您也可以深入研究特定资源，从而大规模地深入了解成本数据。

Vantage UI 提供了云成本的详细视图，并具有独特的向下钻取功能，可用于深入的数据分析。

Vantage 最初从 Postgres 开始，起初看起来足够用。然而，McKim 解释说，随着他们开始扩展，他们很快遇到了性能问题。“我们正处于增长阶段，似乎每周或每月我们都会获得一个比我们之前拥有的客户大一个数量级的客户。很多时间都花在了解决性能问题上。最终，我们在 Postgres 上遇到了瓶颈，不得不找到不同的解决方案。”

Postgres 使用名为“vacuum”的进程从磁盘空间中删除已删除的记录。然而，由于 Vantage 频繁的数据删除和插入，这个 vacuum 进程不断运行，消耗资源并降低性能。由于不断的变化，系统难以将索引保留在内存中，导致响应时间缓慢。这导致 Vantage 寻求提供类似功能但效率更高的替代方案。

Vantage 团队寻求类似于 Postgres 的解决方案，以便快速过渡并最大限度地减少运营开销。他们决定选择 Redshift，因为它基于旧版本的 Postgres，因此很熟悉。然而，Redshift 也带来了自身的挑战。虽然它可以处理大量数据，但它在 Vantage 不断的删除和更新方面表现不佳，并且需要始终以排序顺序插入数据才能获得最佳性能。该团队试图通过频繁运行 vacuum 排序操作和分区表来缓解这些问题。他们还创建了一个混合架构，以 Redshift 作为数据仓库，Postgres 作为缓存。然而，这导致用户体验受限，并且需要在 Redshift 和 Postgres 之间每天移动数十亿条记录。相反，ClickHouse 的 ReplicatedMergeTree 表引擎允许高效且透明地处理行更新。

为了能够向用户展示成本数据，Vantage 每晚生成数万份报告，导致大量数据被删除并重新插入到 Postgres 中。这导致了高昂的云成本，由于 IOPS 的配置和大量的写入操作，Postgres 成本超过了 Redshift 的成本。他们本可以进一步扩展，但达到了他们不愿超过的成本限制。这导致了许多具有各种数据变化的“汇总”表。McKim 提到：“我们正在将数据插入 Redshift。它是未排序的。我们必须返回并运行这个作业，这最终会非常昂贵，尤其是当您的表变得非常大时。”

当 Vantage 开始探索替代方案时，他们在 AWS re:Invent 会议上会见了 ClickHouse 团队。他们被 ClickHouse Cloud 的易用性、低运营开销和全面的文档所吸引。

“ClickHouse 一直非常棒。我认为当你第一次接触 ClickHouse 时，会有一点学习曲线，但是一旦你理解了它与传统关系数据库的不同之处，以及不同引擎的工作方式，实际上很容易迁移到它，”McKim 解释道。

该团队开始了为期 60 天的过渡过程，其中大部分时间用于确保数据的质量和正确性。McKim 提到，“文档比您从 AWS 获得的关于 Redshift 的任何文档都更全面且技术性更强，这非常有帮助，因为您可以了解系统的工作原理。”

借助 ClickHouse，Vantage 不再需要删除和重新插入数据来生成夜间报告。相反，他们开始使用 ReplacingMergeTree 引擎对导入进行版本控制，并添加了一个导入版本列，该列随着每次数据导入而递增。这种方法使他们能够降低运营开销并削减成本，同时仍保持高性能。McKim 说：“ClickHouse 只是获取表中的现有数据，并自动与任何新插入的数据进行合并，这非常棒，因为它节省了我们删除和更新行的麻烦。”

与 Redshift 相比，ClickHouse 自动排序和合并数据，这节省了时间和资源。他们还赞赏 ClickHouse 全面的文档、无停机更新以及在 S3 中经济高效的数据存储。他们将此与他们在 Redshift 上的经验进行了对比，Redshift 强制更新导致停机、潜在的服务中断，并且似乎不太适合实时分析。

自从切换到 ClickHouse Cloud 以来，Vantage 经历了显着的成本节省和性能提升。他们在 ClickHouse 设置上将资源增加了一倍，价格与他们的 Redshift 设置相似。此外，他们从 ClickHouse 看到的性能可与 RDS Postgres 中良好索引的预聚合表相媲美，这也比他们之前的 Postgres 设置便宜。

Vantage 对降低运营开销的潜力感到兴奋，并对他们从 ClickHouse 团队看到的创新速度感到兴奋，因为他们不断改进和扩展他们的产品。他们还期待探索新的用例，并利用 ClickHouse 的功能来进一步增强他们的平台并更好地为他们的客户服务。

Vantage 从 Redshift 和 Postgres 到 ClickHouse 的旅程证明了找到更符合公司特定需求的数据库解决方案的价值。借助 ClickHouse Cloud，Vantage 找到了更具成本效益、更高性能的解决方案，使他们能够发展和改进他们的平台。

• 本次演讲于 2023 年 4 月 26 日在纽约市 ClickHouse 社区聚会上进行
• 演示材料可在 GitHub 上获取