将广告科技进行转型：Cognitiv 如何使用 ClickHouse 构建更强大的机器学习模型

自 2015 年起，Cognitiv 一直使用深度学习来优化广告机会的实时竞价。其深度学习广告平台每秒钟会看到数百万个机会。随着网页加载和广告位变得可用，Cognitiv 的算法会探索这些机会并代表客户进行竞价，根据 KPI 优化效果。

Cognitiv 成功背后的核心是其竞价算法所依赖的复杂机器学习模型。这些模型依赖于海量数据，这些数据必须得到高效管理、处理和分析，才能让 Cognitiv 的数据团队快速迭代。

“任何做过机器学习的人都会告诉你，数据是模型中最重要的一部分，”工程师 Jason Ruckman 说。“架构是一回事，但数据才是真正重要的。”

Cognitiv 转变了其数据管理方法，集成了 ClickHouse，旨在提升性能并简化操作。该实施不仅让 Cognitiv 能够轻松地处理海量数据，还赋能数据团队开发更先进的机器学习模型，巩固了公司在程序化广告购买领域的领导者和创新者地位。

当用户访问网站时，像 Cognitiv 这样的平台会即时分析数据，以确定要展示的最佳广告，使用复杂算法和机器学习来实时优化目标定位和竞价。训练这些模型需要巨大的计算能力，以及能够快速高效地处理和分析大量数据的能力。

当 Jason 于 2021 年加入 Cognitiv 时，该公司现有的数据解决方案成本高昂且效率低下。查询往往需要很长时间才能完成，导致延误并推高成本。这些系统也难以管理，需要大量的维护和调整。这些缺点限制了 Cognitiv 实验和改进其模型的能力，而这些模型对其广告购买算法至关重要。

“数据科学作为一门学科，不像工程那样可以按部就班地进行，”Jason 说。“迭代时间对于数据科学团队的工作流程来说至关重要。”

为了寻找更好的解决方案，Cognitiv 团队开始评估可以为其 离线特征存储 提供动力的数据库系统，这对于训练新机器学习模型的工程工作流程来说至关重要。他们考虑了几个备选方案，但这些解决方案虽然功能强大，但也存在着严重的缺陷。主要是高昂的成本和数据摄取和查询中的额外延迟，在 Cognitiv 所需的规模下是无法承受的。

最后，他们发现了 ClickHouse，这是一个开源的列式数据库，以其闪电般的速度和效率而闻名。Jason 说，他被 ClickHouse 处理大规模数据摄取和复杂查询的能力所吸引，而且延迟极低。它作为广告科技产品的背景也意味着它具有与 Cognitiv 的用例相关的功能。最重要的是，它承诺由于资源利用率高而大幅节约成本。

“作为一家拥有大量数据集的小型公司，成本对我们来说很重要，”Jason 说。“ClickHouse 速度很快，但它的真正价值在于让我们能够更好地利用资源。基本上，我们不需要花那么多钱来解决相同的问题。”

2021 年 9 月，Cognitiv 团队开始了概念验证 (POC) 阶段。他们首先建立了一个小型 ClickHouse 集群来测试其功能。POC 侧重于一个特定的用例：查找与特定模式匹配的数据。这涉及扫描大型数据集并执行复杂的联接，Jason 说，“这对我们之前的架构和数据库管理系统来说并不现实。”

ClickHouse 非常适合这个原因是，我们会有非常庞大的数据历史记录，我们可能对很长一段时间内的特定序列感兴趣，但只针对少数几个标识符。”

Jason 解释道。他怀疑 ClickHouse 的索引结构和数据压缩能力将使其成为该特定用例的理想选择，使他们能够更快、更准确地执行这些操作。

他是对的。ClickHouse 能够有效地处理以前需要数小时甚至数天才能完成的查询。这对 Cognitiv 的数据团队来说非常有价值，使他们能够快速迭代和改进其机器学习模型。该团队对 ClickHouse 即使在数据量增加的情况下也能保持高性能的能力印象深刻。

成功的 POC 表明，ClickHouse 能够满足 Cognitiv 不仅针对该特定用例，而且针对其整个数据基础设施的需求。

最初的 POC 集群在 2022 年全年持续增长。到年底，Cognitiv 团队已经确定了更多 ClickHouse 可以发挥作用的用例，决定全面迁移到 ClickHouse。他们使用 Kubernetes 运算符构建了自己的生产集群。虽然这种设置运行良好，但它也带来了自己的挑战。

“问题是升级它、扩展它、管理硬件支出，所有这些事情，”Jason 说。“当你在 Kubernetes 运算符上遇到 bug 时，你只能靠自己。你必须自己想办法解决。到了一定程度，我们厌倦了它。”

虽然 ClickHouse 团队正在 构建 ClickHouse Cloud，但 Cognitiv 开始权衡托管服务的潜在优势。他们等到 2024 年 1 月，云服务在 AWS 上正式发布后，才进行切换。

Jason 不想运行两个并行的集群，他知道主要挑战之一将是如何确保 Cognitiv 的海量数据——大约 2 PB——能够平稳地迁移到 ClickHouse Cloud，而不会中断正在进行的操作。

“我们知道这将是一场实弹演习，”他说。“ClickHouse 的产品和工程团队非常有反应。我们没有指望他们一上来就能做得尽善尽美。你所能要求的只是他们尽力为你工作，而他们也确实做到了。”

Cognitiv 迁移到 ClickHouse Cloud 取得了成效。从商业角度来看，它带来了更高的效率和简化的操作。对数据团队来说，它减轻了管理自己数据库的负担，使他们能够更快地迭代，并专注于 Cognitiv 的核心业务：提供市场上最好的 AI 驱动的广告解决方案。

Cognitiv 有雄心勃勃的计划来扩展其对 ClickHouse 的使用。他们目前正在重新设计其模式，以优化数据存储和处理能力。从那里，他们计划探索 ClickHouse 的更多功能和高级功能，包括优化查询、减少数据量，并将 ClickHouse 用于更多的数据科学用例，例如数据探索和为构建机器学习模型而进行的数据准备。

“ClickHouse 是我们数据战略的核心，”Jason 说。“它速度很快，而且成本效益高，但最重要的是，它可以连接到任何地方。获取所有不同数据非常容易。只要它存在，你很可能就可以将它连接到 ClickHouse。这对我们来说非常有用。”

Jason 很快就赞扬了他在 ClickHouse 中获得的服务，尤其是他团队在 ClickHouse 云上入职的体验。“支持团队非常棒，”他说。“在需要帮助时有人可以打个电话，这很好。”托管服务减轻了团队很多工作和压力，腾出了他们的时间去做更有价值的事情，比如改进他们的模型，为客户提供更好的体验。

“有了 ClickHouse，你已经拥有了出色的核心技术和生态系统，”Jason 说。“但是有了 ClickHouse 云，你获得的是出色的支持团队、出色的工程团队和出色的产品团队。这正是真正帮助我们的东西。”

通过转向 ClickHouse，Cognitiv 简化了数据处理，使操作更加用户友好。Cognitiv 致力于持续改进和创新，并且已做好准备，通过尖端技术和专家数据管理为客户提供价值，继续保持其在程序化广告购买领域的领先地位。

要了解 ClickHouse 云如何让你的业务受益，注册免费试用。