将 BigQuery 与 ClickHouse Cloud 集成
您可以注册私有预览候补名单 此处。
BigQuery ClickPipe 提供了一种完全托管且具有弹性的方式，可以将数据从 BigQuery 导入到 ClickHouse Cloud。在私有预览版中，它支持 初始加载 复制方法，帮助您批量加载 BigQuery 数据集以进行探索和原型设计。CDC 将在未来支持——在此期间，我们建议使用 Google Cloud Storage ClickPipe，在初始加载完成后将 BigQuery 数据导出持续同步到 ClickHouse Cloud。
BigQuery ClickPipes 可以使用 ClickPipes UI 手动部署和管理，也可以使用 OpenAPI 和 Terraform 以编程方式进行管理。
特性
初始加载
BigQuery ClickPipe 将加载 BigQuery 数据集 中的选定表到 ClickHouse 目标表，作为一个批处理操作。一旦数据导入任务完成，ClickPipe 将自动停止。初始加载导入过程需要用户提供的 Google Cloud Storage (GCS) 存储桶用于暂存。未来，中间存储桶将由 ClickPipes 提供和管理。
ClickPipes 依赖于批量提取作业，将数据从 BigQuery 提取到暂存 GCS 存储桶。此操作不会产生 处理费用 在 BigQuery 中。
CDC（变更数据捕获）
CDC 在私有预览版中不支持，但将来会支持。在此期间，我们建议使用 Google Cloud Storage ClickPipe，在初始加载完成后将 BigQuery 数据导出持续同步到 ClickHouse Cloud。
数据类型映射
| BigQuery 数据类型 | ClickHouse 数据类型 | 详情 |
|---|---|---|
BOOL | Bool | |
INT64 | Int64 | |
FLOAT64 | Float64 | |
NUMERIC | Decimal(P, S) | 精度最高为 38，刻度最高为 9。精度/刻度得以保留。 |
BIGNUMERIC | Decimal(P, S) | 精度最高为 76，刻度最高为 38。精度/刻度得以保留。 |
STRING | String | |
BYTES | String | |
JSON | String (JSON) | |
DATE | Date | |
TIME | String | 微秒精度。 |
DATETIME | DateTime | 微秒精度。 |
TIMESTAMP | DateTime64(6) | 微秒精度。 |
GEOGRAPHY | String | |
GEOMETRY | String | |
UUID | String | |
ARRAY<T> | Array(T) | |
ARRAY<DATE> | Array(Date) | |
STRUCT (RECORD) | String |
访问控制
身份验证
服务帐户凭据
ClickPipes 使用 服务帐户密钥 向您的 Google Cloud 项目进行身份验证。我们建议创建一个专用的服务帐户，并赋予其允许 ClickPipes 从 BigQuery 导出数据、将其加载到暂存 GCS 存储桶以及将其读取到 ClickHouse 的最小必需 权限。
权限
BigQuery
服务帐户必须具有以下 BigQuery 角色
为了进一步缩小访问范围，我们建议使用 IAM 条件 来限制角色对资源的访问权限。例如，您可以将 dataViewer 角色限制为包含要同步的表的特定数据集
云存储
服务帐户必须具有以下 Cloud Storage 角色
为了进一步缩小访问范围，我们建议使用 IAM 条件 来限制角色对资源的访问权限。例如，您可以将 objectAdmin 和 bucketViewer 角色限制为为 ClickPipes 同步创建的专用存储桶。
