广告技术转型：Cognitiv 如何利用 ClickHouse 构建更优的机器学习模型

自2015年以来，Cognitiv 一直利用深度学习优化广告机会的实时竞价。其深度学习广告平台每秒处理数百万次广告机会。当网页加载并出现广告位时，Cognitiv 的算法会探索这些机会并代表客户出价，根据 KPI 优化性能。

Cognitiv 成功背后的核心是其竞价算法所依赖的复杂机器学习模型。这些模型依赖于海量数据，必须对其进行高效的管理、处理和分析，以便 Cognitiv 的数据团队能够快速迭代。

“任何从事过机器学习的人都会告诉你，数据是模型中最重要的部分，”工程师 Jason Ruckman 说。“架构是一方面，但真正重要的是你的数据。”

Cognitiv 转变了其数据管理方法，集成了 ClickHouse 以提高性能并简化操作。该实施不仅使 Cognitiv 能够轻松处理其海量数据，还使数据团队能够开发更先进的机器学习模型，巩固了公司在程序化广告购买领域领导者和创新者的地位。

当有人访问网站时，像 Cognitiv 这样的平台会立即分析数据以确定要显示的最佳广告，使用复杂的算法和机器学习来实时优化目标定位和竞价。训练这些模型需要强大的计算能力，以及能够快速高效地处理和分析海量数据的能力。

当 Jason 于 2021 年加入 Cognitiv 时，该公司现有的数据解决方案成本高且效率低下。查询通常需要很长时间才能完成，导致延迟并增加成本。这些系统也难以管理，需要大量的维护和调整。这些缺点限制了 Cognitiv 实验和改进其模型的能力，而这些模型对其广告购买算法至关重要。

“数据科学作为一门学科，不像工程学那样可以分阶段地系统地构建，”Jason 说。“迭代时间对于数据科学团队的工作流程至关重要。”

为了寻找更好的解决方案，Cognitiv 团队开始评估可以为其离线特征存储提供支持的数据库系统，这对于训练新机器学习模型的工程工作流程非常重要。他们考虑了几个备选方案，但这些解决方案虽然功能强大，但也存在重大缺点。特别是，数据摄取和查询的高成本和额外延迟在 Cognitiv 所需的规模上是令人望而却步的。

最后，他们发现了 ClickHouse，这是一种开源的列式数据库，以其闪电般的速度和效率而闻名。Jason 说，他被 ClickHouse 处理大规模数据摄取和复杂查询的能力以及最小的延迟所吸引。它作为广告技术产品的背景也意味着它具有一些与 Cognitiv 的用例相关的功能。最重要的是，它承诺由于高效利用资源而带来巨大的成本节约。

“作为一家拥有大型数据集的小公司，成本对我们来说非常重要，”Jason 说。“ClickHouse 速度很快，但其实际价值在于让我们能够更好地利用我们的资源。基本上，我们不需要花费那么多钱就能解决同样的问题。”

2021 年 9 月，Cognitiv 团队启动了概念验证 (POC) 阶段。他们首先建立了一个小型 ClickHouse 集群来测试其功能。POC 专注于一个特定的用例：查找与特定模式匹配的数据。这涉及扫描大型数据集并执行复杂的连接，Jason 说这在他们之前的架构和数据库管理系统中“实际上不可行”。

ClickHouse 非常适合这种情况，因为我们会有非常庞大的数据历史记录，我们可能对长时间内的一个特定序列感兴趣，但只针对几个标识符。”

Jason 解释道。他怀疑 ClickHouse 的索引结构和数据压缩功能使其非常适合此特定用例，使他们能够更快、更准确地执行这些操作。

他是对的。ClickHouse 能够有效地处理之前需要数小时甚至数天才能完成的查询。这对 Cognitiv 的数据团队来说非常有价值，使他们能够快速迭代和改进其机器学习模型。该团队对 ClickHouse 即使在数据量增加的情况下也能保持高性能的能力印象深刻。

成功的 POC 表明，ClickHouse 不仅可以满足 Cognitiv 的此特定用例的需求，还可以满足其整个数据基础设施的需求。

最初的 POC 集群在整个 2022 年继续增长。到年底，Cognitiv 团队已经确定了更多 ClickHouse 可以发挥作用的用例，决定全面迁移到 ClickHouse。他们使用 Kubernetes 运算符构建了自己的生产集群。虽然此设置运行良好，但也存在其自身的一系列挑战。

“问题在于升级它、扩展它、管理硬件支出，所有这些，”Jason 说。“当你在 Kubernetes 运算符上遇到错误时，你就只能靠自己了。你必须自己解决问题。在某个时刻，我们厌倦了它。”

在 ClickHouse 团队正在构建 ClickHouse Cloud的过程中，Cognitiv 开始权衡托管服务的潜在好处。他们等到 2024 年 1 月，在云服务在 AWS 上正式发布后，才进行切换。

由于不想运行两个并行的集群，Jason 知道主要挑战之一将是确保 Cognitiv 的海量数据（大约 2 PB）能够平滑地迁移到 ClickHouse Cloud，而不会中断正在进行的操作。

“我们知道这将是一次实战演习，”他说。“ClickHouse 的产品和工程团队反应非常迅速。我们没有期望他们一开始就能完美地解决问题。你所能要求的只是他们尽力为你工作，而他们确实做到了。”

Cognitiv 迁移到 ClickHouse Cloud 取得了成功。从业务角度来看，它提高了效率并简化了运营。特别是对于数据团队来说，它减轻了管理自身数据库的挑战，使他们能够更快地迭代并专注于 Cognitiv 的核心业务：提供市场上最佳的 AI 驱动的广告解决方案。

Cognitiv 拥有雄心勃勃的计划来扩展其对 ClickHouse 的使用。他们目前正在重新设计其架构，以优化数据存储和处理能力。在此基础上，他们计划探索更多 ClickHouse 的功能和高级功能，包括优化查询、减少数据量以及将 ClickHouse 用于更多的数据科学用例，例如数据探索和构建机器学习模型的数据准备。

“ClickHouse 是我们数据战略的核心，”Jason 说。“它非常快且具有成本效益，但最重要的是它连接到所有内容。访问我们所有不同的数据都非常容易。如果数据存在，您可能可以将其连接到 ClickHouse。这对我们来说非常有帮助。”

Jason 很快称赞了他从 ClickHouse 获得的服务，尤其是他的团队在 ClickHouse Cloud 上的体验。“支持团队很棒，”他说。“在需要帮助时有人可以打电话真是太好了。”托管服务为他的团队减轻了许多工作和压力，使他们能够腾出时间进行更有价值的活动，例如改进模型并为客户提供更好的体验。

“使用 ClickHouse，您已经拥有了这项出色的核心技术和一个出色的周边生态系统，”Jason 说。“但通过 ClickHouse Cloud，您获得的是一个优秀的支持团队、一个优秀的工程团队和一个优秀的产品团队。这才是真正帮助我们的因素。”

通过迁移到 ClickHouse，Cognitiv 简化了其数据处理流程，并使运营更加用户友好。凭借对持续改进和创新的关注，Cognitiv 处于有利地位，可以保持其在程序化广告购买领域的领导地位，通过尖端技术和专家数据管理为其客户创造价值。

要了解 ClickHouse Cloud 如何使您的业务受益，请注册免费试用。