在数据工程领域,如何平衡不断增长的数据量与最小化环境影响的需求一直是一个复杂的挑战。然而,Modeo,一家法国领先的数据工程公司,成功地将这一挑战变成了机遇。
Modeo 以其强大的数据工程基础设施而闻名,其服务获得了欧莱雅、Silvr 和 ManoMano 等行业领导者的信赖。他们的最新解决方案 Stash 利用 ClickHouse 的可扩展性和存储效率,实现了可持续的数据管理。
Modeo 面临的挑战是如何在管理不断增长的数据量的同时,准确衡量数据使用和存储产生的实时碳排放。作为专注于气候变化的企业社会责任倡议的一部分,Modeo 的首席技术官 Ismael Goulani 表达了对解决方案的需求,该解决方案将允许他们的客户监控和优化其数据平台的成本、碳足迹和使用情况。
介绍 Stash,由 ClickHouse 提供支持
Modeo 推出了 Stash,这是一个旨在将客户数据平台的元数据和日志同步到 ClickHouse 的解决方案。ClickHouse 以其低延迟、高吞吐量和高效的存储能力而闻名,它使 Stash 能够提供无与伦比的服务。“我们相信,随着更多数据驱动的企业出现,数据消费者将呈指数级增长。Stash 通过洞察客户的数据使用和成本,帮助他们可持续地管理这种增长,最终带来更好的业务成果和数据采用,”Goulani 解释道。
此屏幕截图显示了平台上用户活动的数量。“活动”包含各种交互,例如运行查询或打开仪表板。此监控允许用户跟踪其使用模式、相关成本以及随着时间的推移产生的碳足迹。
Stash 架构
Stash 集成了 ClickHouse Cloud。所有日志和元数据首先加载到对象存储(Google Cloud Storage)。然后将其加载并压缩到 ClickHouse 以实现高效存储。
为什么选择 ClickHouse?理想的数据仓库解决方案
Modeo 需要一个能够快速检索数据并高效存储数据的系统。ClickHouse 凭借其独特的结构满足了这一需求,该结构允许快速访问数据并提供出色的数据压缩以实现高效存储。这些关键特性使 ClickHouse 成为 Modeo 苛刻需求的首选。
当被问及 Modeo 为什么选择 ClickHouse 用于 Stash 时,Goulani 说:“我们评估了几种数据仓库解决方案的可扩展性、实时分析和客户满意度。ClickHouse 在所有这些方面都优于竞争对手。”
Goulani 进一步强调:“ClickHouse 的高可扩展性、处理海量数据的能力以及高效的存储使其成为我们的理想解决方案。我们的客户尤其欣赏 ClickHouse 提供的低延迟和实时分析功能。”
除了这些优势之外,ClickHouse 在其他对他们的选择过程至关重要的方面也表现出色。其成本效益是一个主要优势,使 Modeo 能够维持强大的数据仓库解决方案,而不会增加运营支出。它还提供全面的 SQL 支持,这使得能够与现有工具无缝集成,并方便开发人员轻松操作数据。此外,其直观的设计和用户友好的界面极大地促进了易用性,减少了新团队成员的学习曲线,并促进了高效的工作流程。借助 ClickHouse,Modeo 找到了一个不仅满足其当前需求,而且能够适应未来需求的解决方案。
见证成果:降低成本和改进数据采用
ClickHouse 的实施为 Modeo 带来了巨大的益处。“自从引入 ClickHouse 以来,我们已经看到了成本的显著降低、数据采用的改进以及客户业务成果的增强,”Goulani 报告说。“我们正在逐步推出 Stash 测试版,我们期待着在更多客户开始使用它时分享更多影响数据。”
ClickHouse 用于可持续和高效的数据管理
ClickHouse 改变了 Modeo 的数据管理方式。正如 Goulani 总结的那样,“借助 ClickHouse,我们不仅仅是在管理数据;我们正在以可持续和高效的方式进行管理,这将带来更好的业务成果和数据采用。”
随着各行业对数据和访问监控的需求激增,Modeo 计划通过其 Stash 平台最大限度地发挥 ClickHouse 的功能。一个重点是利用其实时处理能力用于一系列新兴应用,尤其是在安全领域。借助 ClickHouse,Modeo 可以构建复杂的系统,以快速检测未经授权的数据资产访问(如表、数据库等),增强平台的防御机制并培养客户信任。这种集成使 Modeo 能够增强其服务,提供一个日益安全和用户友好的平台。