跳到主要内容
跳到主要内容

BSONEachRow

输入输出别名

描述

BSONEachRow 格式将数据解析为一系列二进制 JSON (BSON) 文档,它们之间没有任何分隔符。每一行都格式化为单个文档,每一列都格式化为单个 BSON 文档字段,列名作为键。

数据类型匹配

对于输出,它使用以下 ClickHouse 类型和 BSON 类型之间的对应关系

ClickHouse 类型BSON 类型
Bool\x08 布尔值
Int8/UInt8/Enum8\x10 int32
Int16/UInt16/Enum16\x10 int32
Int32\x10 int32
UInt32\x12 int64
Int64/UInt64\x12 int64
Float32/Float64\x01 double
Date/Date32\x10 int32
DateTime\x12 int64
DateTime64\x09 datetime
Decimal32\x10 int32
Decimal64\x12 int64
Decimal128\x05 二进制, \x00 二进制子类型, 大小 = 16
Decimal256\x05 二进制, \x00 二进制子类型, 大小 = 32
Int128/UInt128\x05 二进制, \x00 二进制子类型, 大小 = 16
Int256/UInt256\x05 二进制, \x00 二进制子类型, 大小 = 32
String/FixedString\x05 二进制, \x00 二进制子类型 或 \x02 字符串 (如果启用了设置 output_format_bson_string_as_string)
UUID\x05 二进制, \x04 uuid 子类型, 大小 = 16
Array\x04 数组
Tuple\x04 数组
Named Tuple\x03 文档
Map\x03 文档
IPv4\x10 int32
IPv6\x05 二进制, \x00 二进制子类型

对于输入,它使用以下 BSON 类型和 ClickHouse 类型之间的对应关系

BSON 类型ClickHouse 类型
\x01 doubleFloat32/Float64
\x02 字符串String/FixedString
\x03 文档Map/Named Tuple
\x04 数组Array/Tuple
\x05 二进制, \x00 二进制子类型String/FixedString/IPv6
\x05 二进制, \x02 旧二进制子类型String/FixedString
\x05 二进制, \x03 旧 uuid 子类型UUID
\x05 二进制, \x04 uuid 子类型UUID
\x07 ObjectIdString/FixedString
\x08 布尔值Bool
\x09 datetimeDateTime64
\x0A null 值NULL
\x0D JavaScript 代码String/FixedString
\x0E 符号String/FixedString
\x10 int32Int32/UInt32/Decimal32/IPv4/Enum8/Enum16
\x12 int64Int64/UInt64/Decimal64/DateTime64

不支持其他 BSON 类型。此外,它还执行不同整数类型之间的转换。例如,可以将 BSON int32 值作为 UInt8 插入到 ClickHouse 中。

大型整数和十进制数,例如 Int128/UInt128/Int256/UInt256/Decimal128/Decimal256 可以从带有 \x00 二进制子类型的 BSON 二进制值中解析。在这种情况下,格式将验证二进制数据的大小是否等于预期值的大小。

注意

此格式在 Big-Endian 平台上无法正常工作。

示例用法

格式设置

设置描述默认值
output_format_bson_string_as_string对 String 列使用 BSON String 类型而不是 Binary。false
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference在格式 BSONEachRow 的 schema 推断时,允许跳过具有不支持类型的列。false