BSONEachRow
输入 | 输出 | 别名 |
---|---|---|
✔ | ✔ |
描述
BSONEachRow
格式将数据解析为一系列二进制 JSON (BSON) 文档,它们之间没有任何分隔符。每一行都格式化为单个文档,每一列都格式化为单个 BSON 文档字段,列名作为键。
数据类型匹配
对于输出,它使用以下 ClickHouse 类型和 BSON 类型之间的对应关系
ClickHouse 类型 | BSON 类型 |
---|---|
Bool | \x08 布尔值 |
Int8/UInt8/Enum8 | \x10 int32 |
Int16/UInt16/Enum16 | \x10 int32 |
Int32 | \x10 int32 |
UInt32 | \x12 int64 |
Int64/UInt64 | \x12 int64 |
Float32/Float64 | \x01 double |
Date/Date32 | \x10 int32 |
DateTime | \x12 int64 |
DateTime64 | \x09 datetime |
Decimal32 | \x10 int32 |
Decimal64 | \x12 int64 |
Decimal128 | \x05 二进制, \x00 二进制子类型, 大小 = 16 |
Decimal256 | \x05 二进制, \x00 二进制子类型, 大小 = 32 |
Int128/UInt128 | \x05 二进制, \x00 二进制子类型, 大小 = 16 |
Int256/UInt256 | \x05 二进制, \x00 二进制子类型, 大小 = 32 |
String/FixedString | \x05 二进制, \x00 二进制子类型 或 \x02 字符串 (如果启用了设置 output_format_bson_string_as_string) |
UUID | \x05 二进制, \x04 uuid 子类型, 大小 = 16 |
Array | \x04 数组 |
Tuple | \x04 数组 |
Named Tuple | \x03 文档 |
Map | \x03 文档 |
IPv4 | \x10 int32 |
IPv6 | \x05 二进制, \x00 二进制子类型 |
对于输入,它使用以下 BSON 类型和 ClickHouse 类型之间的对应关系
BSON 类型 | ClickHouse 类型 |
---|---|
\x01 double | Float32/Float64 |
\x02 字符串 | String/FixedString |
\x03 文档 | Map/Named Tuple |
\x04 数组 | Array/Tuple |
\x05 二进制, \x00 二进制子类型 | String/FixedString/IPv6 |
\x05 二进制, \x02 旧二进制子类型 | String/FixedString |
\x05 二进制, \x03 旧 uuid 子类型 | UUID |
\x05 二进制, \x04 uuid 子类型 | UUID |
\x07 ObjectId | String/FixedString |
\x08 布尔值 | Bool |
\x09 datetime | DateTime64 |
\x0A null 值 | NULL |
\x0D JavaScript 代码 | String/FixedString |
\x0E 符号 | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
不支持其他 BSON 类型。此外,它还执行不同整数类型之间的转换。例如,可以将 BSON int32
值作为 UInt8
插入到 ClickHouse 中。
大型整数和十进制数,例如 Int128
/UInt128
/Int256
/UInt256
/Decimal128
/Decimal256
可以从带有 \x00
二进制子类型的 BSON 二进制值中解析。在这种情况下,格式将验证二进制数据的大小是否等于预期值的大小。
注意
此格式在 Big-Endian 平台上无法正常工作。
示例用法
格式设置
设置 | 描述 | 默认值 |
---|---|---|
output_format_bson_string_as_string | 对 String 列使用 BSON String 类型而不是 Binary。 | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | 在格式 BSONEachRow 的 schema 推断时,允许跳过具有不支持类型的列。 | false |