Kafka

将 ClickHouse Cloud 与 Apache Kafka 集成的选项包括

• Kafka Connect - Kafka Connect 是 Apache Kafka® 的一个免费开源组件，用作 Kafka 与其他数据系统之间简单数据集成的集中式数据中心。这是我们将在此处详细介绍的选项。
• Vector - Vector 是一个与供应商无关的数据管道。它能够从 Kafka 读取数据，并将事件发送到 ClickHouse，这代表着一种强大的集成选项。

Confluent 平台是一个全面的数据流平台，它使您能够轻松地访问、存储和管理数据作为持续的实时流。
Confluent 解决方案提供本地和云解决方案。
ClickHouse Cloud 仅支持本地部署，并通过使用 JdbcSinkConnector 来启用。

• 安装 Confluent - 我们推荐使用 Confluent 平台的快速入门

• 安装 ClickHouse-JDBC 驱动程序 - 将最新版本的 ClickHouse-JDBC 下载到 Confluent 目录中。

      wget https://repo1.maven.org/maven2/com/clickhouse/clickhouse-jdbc/0.3.2-   patch11/clickhouse-jdbc-0.3.2-patch11.jar
  

• 启动 Confluent 实例。

• 在 ClickHouse 中创建一个数据库和一个表

• 创建一个 Kafka 主题，我们的 JdbcSinkConnector 可以从该主题中提取消息。将其命名为 ClickHouse Cloud

• 使用以下配置创建一个新的 JdbcSinkConnector，并提供端点、密码和用户名属性

  {
    "name": "JdbcSinkConnectorConnector_0",
    "config": {
      "name": "JdbcSinkConnectorConnector_0",
      "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
      "key.converter": "org.apache.kafka.connect.storage.StringConverter",
      "topics": "test_v1",
      "connection.url": "jdbc:clickhouse://<host>:8443/default?ssl=true",
      "connection.user": "default",
      "connection.password": "<password>",
      "dialect.name": "GenericDatabaseDialect",
      "auto.create": "false"
    }
  }
  

• 按下 启动，数据就开始流动！