SF 线下会议报告：Helicone 从 Postgres 迁移到 ClickHouse 以实现高级 LLM 监控

Elissa Weve

2023年8月8日

2023年8月8日，ClickHouse 在旧金山举办了“ClickHouse 和 AI - 夏季线下会议”。我们很荣幸听到来自 Helicone 首席执行官兼联合创始人 Justin Torre 的演讲。Helicone.ai 是一个开源平台，专为 AI 可观测性而设计，提供开箱即用的大型语言模型 (LLM) 应用程序监控、日志记录和跟踪功能。

利用 ClickHouse 作为其后端的基础组件，他们每天处理 300 万个请求。ClickHouse 使其仪表板能够实时更新，为用户提供对错误和活跃用户数量等关键指标的即时可见性。

Justin 谈到了 LLM 使用的突然流行和激增，初创公司正在迅速将其集成到他们的服务中。他谈到了 Helicone 的起源——最初专注于名为 TableTalk 的产品，该产品允许用户通过 OpenAI 与数据库交互。他们很快意识到需要更广泛地监控这些 LLM，从而导致了 Helicone 的创建。其成功源于简单的集成策略。只需添加两行代码，开发人员就可以在 Helicone 中可视化所有活动，例如实时统计数据、请求日志，甚至错误详细信息。

Helicone 最初使用 Postgres 启动，但这很快带来了一系列挑战，尤其是在尝试扩展其仪表板功能时。Justin 解释说：“我们当时使用 Postgres，但 Postgres 无法扩展这些漂亮的仪表板。为了获得这些漂亮的仪表板，你需要执行所有这些聚合调用。聚合需要超过 30 秒，并且事情一直超时。” AI 应用程序需要灵活的数据处理，用户需要能够动态地过滤、细分和分解数据。

根据建议，他们决定尝试 ClickHouse，并立即获得了令人印象深刻的结果。Justin 解释说：“我做了一个基准测试，复制了大量数据，然后执行了一个聚合查询，我当时想……这太快了！” 吸引力不仅仅在于速度，还在于 ClickHouse 是开源的，这与 Helicone 的核心价值观相一致。

迁移到 ClickHouse 存在一些复杂性，尤其是在 Postgres 视图和 ClickHouse 表之间的同步方面。他们采用了双重插入方法，同时填充 ClickHouse 和 Postgres。对于较新的表和视图，他们使用 pgv2cht，这是一个他们创建的开源工具。

迁移到 ClickHouse 后，Helicone 的仪表板查询性能得到了大幅优化。以前需要超过 100 秒才能完成的操作现在只需 0.5 秒即可完成。他们客户的反馈是即时的，许多人评论说：“嘿，我们注意到仪表板速度更快了！”

Justin Torre 分享了 Helicone 从其初始产品 TableTalk 到目前专注于 LLM 可观测性的转变。他们的快速增长导致 Postgres 扩展面临挑战。但是，切换到 ClickHouse 改变了他们的性能，大幅缩短了仪表板查询时间。正如 Justin 所解释的：“这太疯狂了。我们的查询时间从超过 100 秒缩短到了 0.5 秒。我们做了很多不同类型的索引和测试。太疯狂了。”

此次迁移不仅展示了 ClickHouse 的效率，也符合 Helicone 对开源的承诺。Justin 感谢 ClickHouse 团队的支持，特别是通过 ClickHouse Cloud 中的聊天框，这帮助他们高效地解决了问题。