零售是一场高风险的游戏,容错空间极其狭窄。对于彪马、阿迪达斯和卡尔文·克莱恩等全球品牌而言,保持领先地位意味着实时管理复杂的供应链并优化库存。这正是零售 SaaS 公司 Increff 的优势所在。
凭借商品销售软件和全渠道解决方案等旗舰产品,Increff 帮助世界领先的零售品牌简化运营,并做出更智能、更快速的决策。无论是自动化订单履行还是微调库存,Increff 都为企业提供了应对现代零售复杂性的工具。
但每一个明智的决策背后都隐藏着海量数据,而管理这些数据并非易事。Increff 的平台与 90 多个数据源集成,从 CRP 系统到云存储,使企业能够连接和分析其数据,无论数据位于何处。随着 Increff 扩大其客户群,为拥有庞大目录和数百万客户的大型品牌提供服务,其 BI 平台开始在数十亿数据点的重压下步履蹒跚。
在 2024 年 9 月班加罗尔的 ClickHouse 聚会上,首席数据分析师 Navaneet Krishna 分享了 Increff 如何重新构想其 BI 平台,转而使用 ClickHouse Cloud 创建可扩展、高性能且为未来增长做好准备的数据架构。
BI 突破点
Increff 之前的 BI 系统依赖 Pandas 进行数据转换、无服务器 SQL 数据库进行数据仓库以及 Superset 进行可视化。该系统在 Navaneet 所谓的“小规模 BI 工作负载”方面运行良好,可以处理高达 2 亿条记录的数据集,但这几乎是它的极限。
Increff 旧的 BI 架构功能齐全,但在不断增长的数据集和可扩展性方面遇到了困难。
当 Increff 迎来一家大型时尚零售商时,情况发生了转变,该零售商的数据需求是该平台之前所见规模的五倍。突然,系统开始崩溃。“查询性能下降,我们开始遇到并发限制,这造成了瓶颈,”Navaneet 回忆道。“使用我们旧的架构,我们根本无法处理如此大的规模。”
团队意识到,如果他们想继续发展并确保全球零售品牌获得良好的体验,他们就需要一个能够处理海量数据集而又不牺牲速度或可靠性的架构。他们开始寻找更好的 BI 解决方案。
使用 ClickHouse 重建
正如 Navaneet 解释的那样,他和 Increff 团队“关注 ClickHouse 有一段时间了”,而这是一个测试它的绝佳机会。为期两周的概念验证就足以证明它的价值。ClickHouse Cloud 高效地处理了他们最大的数据集,查询延迟不到一秒。“这是一次成功的实施,”Navaneet 说。
对 ClickHouse 的能力充满信心,团队开始重新设计其 BI 平台。他们用 DuckDB 替换了大部分基于 Pandas 的数据转换,实施了托管 ClickHouse 实例用于数据仓库,并添加了 Redis 缓存以加快仪表板响应速度。改造后的系统旨在扩展,并且确实实现了目标。
Increff 旧的 BI 架构功能齐全,但在不断增长的数据集和可扩展性方面遇到了困难。
“借助 ClickHouse Cloud,我们正在处理大约 10 亿条记录,并且我们保持了在较小数据集上实现的相同性能基准,”Navaneet 说。“我们还能够将数据准备时间缩短 70% 到 80%。”
更上一层楼
自从实施新架构以来,Navaneet 和团队一直忙于微调 BI 系统,以进一步提高效率和性能。
首先,他们改进了数据建模,采用了星型模式和事实星座设计。通过为每日、每周和每月数据创建聚合事实表,他们在保持分析所需粒度的同时减轻了服务器负载。这有助于优化存储并确保查询始终如一地运行,无论规模大小。
接下来是分区和主键。Navaneet 和团队分析了他们的查询模式,并使用天或周等时间维度设置分区——他们知道这些列会被频繁使用。这保持了数据分布的平衡,并避免了分区倾斜的陷阱,最大限度地提高了 ClickHouse 列式存储的效率。
数据类型也发挥了重要作用。LowCardinality 类型用于分类数据,以提高压缩率并加快查询速度,而无符号整数为仅包含正值的列提供了微小但意义重大的性能提升。
最后,Navaneet 和团队还引入了多项查询优化,包括在 Superset 中使用 Jinja 模板使查询更灵活并去除不必要的连接。他们还在需要微调执行计划的地方显式应用了 ClickHouse 的 PREWHERE 子句,从而节省了宝贵的查询执行时间。
未来的 BI
随着新的 BI 系统平稳运行并日臻完善,Increff 团队已经在展望未来。他们正在探索 ClickHouse 的高级功能,例如 投影 和 物化视图,通过简化查询执行和减少资源消耗来进一步提高性能。用于高效连接的 字典 也在他们的考虑范围内。
AI 驱动的工具是另一个关注领域。Navaneet 和团队正在开发基于提示的数据提取和可视化,旨在简化用户与数据交互和可视化数据的方式。想象一下,输入一个问题,就能得到一个完全成型的仪表板作为回应——这就是他们正在努力实现的创新。
为了最大限度地提高灵活性,Increff 正在朝着云无关的实施方案迈进。这将使他们能够更好地控制部署,同时减少对特定云提供商的依赖。自助式 ETL 工具也在开发中,这将使客户能够直接在 Increff 的平台内上传和分析自定义数据集。
推动更智能的零售决策
不久前,Increff 面临着一个日益严峻的挑战:如何扩展其 BI 平台以满足世界最大零售品牌的需求。通过与 ClickHouse 合作,他们将这一挑战转变为机遇。
如今,Increff 的 BI 系统由 ClickHouse Cloud 驱动,即使在处理海量数据集时,也能提供亚秒级的查询速度和简化的数据准备。通过重新构想其数据架构,他们为未来的增长构建了可扩展的基础。最重要的是,依赖 Increff 的库存优化和供应链管理解决方案的全球零售品牌可以更加自信地做出更快、更明智的决策。
要了解有关 ClickHouse 的更多信息,并了解它如何改变您公司的数据架构,免费试用 ClickHouse Cloud 30 天。