将数据从云对象存储迁移到 ClickHouse Cloud
如果您使用云对象存储作为数据湖并希望将这些数据导入 ClickHouse Cloud,或者您当前的数据库系统能够直接将数据卸载到云对象存储中,那么您可以使用以下其中一个表函数将存储在云对象存储中的数据迁移到 ClickHouse Cloud 表中
如果您的当前数据库系统无法直接将数据卸载到云对象存储中,您可以使用 第三方 ETL/ELT 工具 或 clickhouse-local 将数据从您当前的数据库系统迁移到云对象存储中,以便在第二步中将这些数据迁移到 ClickHouse Cloud 表中。
虽然这是一个两步过程(将数据卸载到云对象存储中,然后加载到 ClickHouse 中),但其优势在于,由于 ClickHouse Cloud 的强大支持 从云对象存储中进行高度并行读取,因此该过程可以扩展到 PB 级数据。您还可以利用复杂且压缩的格式,例如 Parquet。
有一篇 博文 提供了具体的代码示例,展示了如何使用 S3 将数据获取到 ClickHouse Cloud 中。