是否可以从 ClickHouse 表中删除旧记录?
简短的答案是“可以”。ClickHouse 有多种机制,允许通过删除旧数据来释放磁盘空间。每种机制都针对不同的场景。
TTL
ClickHouse 允许在某些条件发生时自动删除值。此条件配置为基于任何列的表达式,通常只是任何时间戳列的静态偏移量。
此方法的主要优势在于,它不需要任何外部系统来触发,一旦配置了 TTL,数据删除就会在后台自动发生。
TTL 也可以用于将数据移动到 /dev/null,而不是移动到其他存储系统,例如从 SSD 移动到 HDD。
有关 配置 TTL 的更多详细信息。
DELETE FROM
DELETE FROM 允许在 ClickHouse 中运行标准 DELETE 查询。在过滤子句中目标的行将被标记为已删除,并将从未来的结果集中删除。行的清理会异步发生。
DELETE FROM 通常从 23.3 版本和更新版本开始可用。在旧版本中,它是实验性的,必须使用以下方法启用
SET allow_experimental_lightweight_delete = true;
ALTER DELETE
ALTER DELETE 使用异步批处理操作删除行。与 DELETE FROM 不同,在 ALTER DELETE 之后和批处理操作完成之前运行的查询将包括要删除的目标行。有关更多详细信息,请参阅 ALTER DELETE 文档。
ALTER DELETE
可以灵活地发出以删除旧数据。如果您需要定期执行此操作,主要缺点是需要有一个外部系统来提交查询。由于突变会重写完整的部件,即使只有一行要删除,也有一些性能方面的考虑。
这是使基于 ClickHouse 的系统 GDPR 合规的最常见方法。
有关 突变 的更多详细信息。
DROP PARTITION
ALTER TABLE ... DROP PARTITION
提供了一种经济高效的方式来删除整个分区。它并不灵活,需要在创建表时配置适当的分区方案,但仍然涵盖了大多数常见情况。与突变一样,需要从外部系统执行以供定期使用。
有关 操作分区 的更多详细信息。
TRUNCATE
从表中删除所有数据相当激进,但在某些情况下这可能正是您需要的。
有关 表截断 的更多详细信息。