从 MySQL 导入 ClickHouse（使用 CDC）
通过 ClickPipes 将数据从 MySQL 导入 ClickHouse Cloud 处于公开测试阶段。
MySQL ClickPipe 提供了一种完全托管且具有弹性的方式，可以将数据从 MySQL 和 MariaDB 数据库导入 ClickHouse Cloud。它支持批量加载用于一次性导入，以及变更数据捕获 (CDC) 用于持续导入。
可以使用 ClickPipes UI 手动部署和管理 MySQL ClickPipes。未来，您将可以使用 OpenAPI 和 Terraform 以编程方式部署和管理 MySQL ClickPipes。
先决条件
首先，您需要确保您的 MySQL 数据库已正确配置为 binlog 复制。配置步骤取决于您部署 MySQL 的方式，请遵循以下相关指南
支持的数据源
| 名称 | Logo | 详情 |
|---|---|---|
| Amazon RDS MySQL 一次性加载，CDC | 请遵循 Amazon RDS MySQL 配置指南。 | |
| Amazon Aurora MySQL 一次性加载，CDC | 请遵循 Amazon Aurora MySQL 配置指南。 | |
| Cloud SQL for MySQL 一次性加载，CDC | 请遵循 Cloud SQL for MySQL 配置指南。 | |
| Azure Flexible Server for MySQL 一次性加载 | 请遵循 Azure Flexible Server for MySQL 配置指南。 | |
| 自托管 MySQL 一次性加载，CDC | 请遵循 Generic MySQL 配置指南。 | |
| Amazon RDS MariaDB 一次性加载，CDC | 请遵循 Amazon RDS MariaDB 配置指南。 | |
| 自托管 MariaDB 一次性加载，CDC | 请遵循 Generic MariaDB 配置指南。 |
设置好源 MySQL 数据库后，您可以继续创建 ClickPipe。
创建您的 ClickPipe
请确保您已登录到您的 ClickHouse Cloud 帐户。如果您还没有帐户，可以 在此处 注册。
- 在 ClickHouse Cloud 控制台中，导航到您的 ClickHouse Cloud 服务。
- 在左侧菜单上选择
数据源按钮，然后单击“设置 ClickPipe”。
- 选择
MySQL CDC图块
添加您的源 MySQL 数据库连接
-
填写您在先决条件步骤中配置的源 MySQL 数据库的连接详细信息。
参考在开始添加连接详细信息之前，请确保您已在防火墙规则中列入 ClickPipes IP 地址白名单。在下一页您可以找到 ClickPipes IP 地址列表。有关更多信息，请参阅 此页顶部 链接的源 MySQL 设置指南。
(可选) 设置 SSH 隧道
如果您的源 MySQL 数据库不可公开访问，您可以指定 SSH 隧道详细信息。
-
启用“使用 SSH 隧道”切换开关。
-
填写 SSH 连接详细信息。
-
要使用基于密钥的身份验证，请单击“撤销并生成密钥对”以生成新的密钥对，并将生成的公钥复制到 SSH 服务器的
~/.ssh/authorized_keys下。 -
单击“验证连接”以验证连接。
请确保将 ClickPipes IP 地址 列入 SSH bastion 主机的防火墙规则白名单，以便 ClickPipes 可以建立 SSH 隧道。
填写完连接详细信息后，单击 下一步。
配置高级设置
如果需要，您可以配置高级设置。下面提供了每个设置的简要说明
- 同步间隔：这是 ClickPipes 将轮询源数据库以获取更改的间隔。对于注重成本的用户，我们建议将其保持在较高值（超过
3600）。 - 初始加载的并行线程数：这是将用于获取初始快照的并行工作线程数。当您有大量表并且想要控制用于获取初始快照的并行工作线程数时，这很有用。此设置是每个表的。
- 拉取批处理大小：每次提取的行数。这是一个尽力而为的设置，在所有情况下可能不会得到尊重。
- 快照每分区行数：在初始快照期间将提取到每个分区中的行数。当您的表中有大量行并且您想要控制每个分区中提取的行数时，这很有用。
- 快照并行表数：在初始快照期间并行提取的表数。当您有大量表并且想要控制并行提取的表数时，这很有用。
配置表
-
您可以在此处选择 ClickPipe 的目标数据库。您可以选择现有数据库或创建一个新数据库。
-
您可以选择要从源 MySQL 数据库复制的表。在选择表时，还可以选择在目标 ClickHouse 数据库中重命名表以及排除特定列。
审核权限并启动 ClickPipe
-
从权限下拉列表中选择“完全访问”角色，然后单击“完成设置”。
最后，请参阅 “MySQL ClickPipes 常见问题解答” 页面，了解有关常见问题以及如何解决它们的更多信息。
下一步？
设置好从 MySQL 导入 ClickHouse Cloud 的 ClickPipe 后，您可以专注于如何查询和建模数据以获得最佳性能。有关 MySQL CDC 和故障排除的常见问题，请参阅 MySQL 常见问题解答页面。
