跳至主要内容
跳至主要内容

批量插入

上述机制说明无论插入大小如何,都会产生恒定的开销,因此批处理大小是提高摄取吞吐量的最重要的优化手段。批量插入可以减少开销占总插入时间的比例,并提高处理效率。

我们建议至少以 1,000 行的批次插入数据,理想情况下为 10,000–100,000 行。较少、较大的插入可以减少写入的部分数量,最大限度地减少合并负载,并降低整体系统资源使用率。

为了使同步插入策略有效,需要客户端批处理。

如果您无法在客户端批量处理数据,ClickHouse 支持将批处理转移到服务器的异步插入 (参见)。

提示

无论您的插入大小如何,我们建议将插入查询的数量保持在每秒大约一个插入查询。 推荐的原因是创建的部分会在后台合并为更大的部分(以便为读取查询优化您的数据),并且每秒发送过多的插入查询可能会导致后台合并无法跟上新部分的数量。 但是,当您使用异步插入时,可以使用更高的每秒插入查询速率(参见异步插入)。

    © . This site is unofficial and not affiliated with ClickHouse, Inc.