BSONEachRow
| 输入 | 输出 | 别名 |
|---|---|---|
| ✔ | ✔ |
描述
BSONEachRow 格式将数据解析为一系列二进制 JSON (BSON) 文档,它们之间没有任何分隔符。每一行都格式化为单个文档,每一列都格式化为单个 BSON 文档字段,列名作为键。
数据类型匹配
对于输出,它使用以下 ClickHouse 类型和 BSON 类型之间的对应关系
| ClickHouse 类型 | BSON 类型 |
|---|---|
| Bool | \x08 布尔值 |
| Int8/UInt8/Enum8 | \x10 int32 |
| Int16/UInt16/Enum16 | \x10 int32 |
| Int32 | \x10 int32 |
| UInt32 | \x12 int64 |
| Int64/UInt64 | \x12 int64 |
| Float32/Float64 | \x01 double |
| Date/Date32 | \x10 int32 |
| DateTime | \x12 int64 |
| DateTime64 | \x09 datetime |
| Decimal32 | \x10 int32 |
| Decimal64 | \x12 int64 |
| Decimal128 | \x05 二进制, \x00 二进制子类型, 大小 = 16 |
| Decimal256 | \x05 二进制, \x00 二进制子类型, 大小 = 32 |
| Int128/UInt128 | \x05 二进制, \x00 二进制子类型, 大小 = 16 |
| Int256/UInt256 | \x05 二进制, \x00 二进制子类型, 大小 = 32 |
| String/FixedString | \x05 二进制, \x00 二进制子类型 或 \x02 字符串 (如果启用了设置 output_format_bson_string_as_string) |
| UUID | \x05 二进制, \x04 uuid 子类型, 大小 = 16 |
| Array | \x04 数组 |
| Tuple | \x04 数组 |
| Named Tuple | \x03 文档 |
| Map | \x03 文档 |
| IPv4 | \x10 int32 |
| IPv6 | \x05 二进制, \x00 二进制子类型 |
对于输入,它使用以下 BSON 类型和 ClickHouse 类型之间的对应关系
| BSON 类型 | ClickHouse 类型 |
|---|---|
\x01 double | Float32/Float64 |
\x02 字符串 | String/FixedString |
\x03 文档 | Map/Named Tuple |
\x04 数组 | Array/Tuple |
\x05 二进制, \x00 二进制子类型 | String/FixedString/IPv6 |
\x05 二进制, \x02 旧二进制子类型 | String/FixedString |
\x05 二进制, \x03 旧 uuid 子类型 | UUID |
\x05 二进制, \x04 uuid 子类型 | UUID |
\x07 ObjectId | String/FixedString |
\x08 布尔值 | Bool |
\x09 datetime | DateTime64 |
\x0A null 值 | NULL |
\x0D JavaScript 代码 | String/FixedString |
\x0E 符号 | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
不支持其他 BSON 类型。此外,它还执行不同整数类型之间的转换。例如,可以将 BSON int32 值作为 UInt8 插入到 ClickHouse 中。
大型整数和十进制数,例如 Int128/UInt128/Int256/UInt256/Decimal128/Decimal256 可以从带有 \x00 二进制子类型的 BSON 二进制值中解析。在这种情况下,格式将验证二进制数据的大小是否等于预期值的大小。
注意
此格式在 Big-Endian 平台上无法正常工作。
示例用法
格式设置
| 设置 | 描述 | 默认值 |
|---|---|---|
output_format_bson_string_as_string | 对 String 列使用 BSON String 类型而不是 Binary。 | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | 在格式 BSONEachRow 的 schema 推断时,允许跳过具有不支持类型的列。 | false |