deltaLakeCluster 表函数
这是 deltaLake 表函数的扩展。
允许从指定集群中的多个节点并行处理 Amazon S3 中 Delta Lake 表中的文件。在发起者上,它创建与集群中所有节点的连接并动态调度每个文件。在工作节点上,它向发起者询问要处理的下一个任务并处理它。重复此操作,直到所有任务完成。
语法
deltaLakeCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression])
参数
-
cluster_name
— 用于构建地址集和与远程和本地服务器的连接参数的集群名称。 -
所有其他参数的描述与等效 deltaLake 表函数中参数的描述一致。
返回值
一个表,其指定的结构用于从 S3 中指定的 Delta Lake 表中的集群读取数据。
另请参阅