INSERT OVERWRITE DIRECTORY

适用于:检查标记为“是”的 Databricks SQL 检查标记为“是 ”Databricks Runtime

使用指定的 Spark 文件格式用新值覆盖目录中的现有数据。 通过值表达式或查询的结果指定插入的行。

语法

INSERT OVERWRITE [ LOCAL ] DIRECTORY [ directory_path ]
    USING file_format [ OPTIONS ( { key [ = ] val } [ , ... ] ) ]
    { VALUES ( { value | NULL } [ , ... ] ) [ , ( ... ) ] | query }

参数

  • directory_path

    目标目录。 还可以在使用OPTIONS中path指定它。 LOCAL 关键字指定此目录位于本地文件系统上。

  • file_format

    要用于插入的文件格式。 有效选项为 TEXT、CSV、JSON、JDBC、PARQUET、ORC、HIVE、LIBSVM,或 org.apache.spark.sql.execution.datasources.FileFormat 的自定义实现的完全限定类名。

  • OPTIONS ( { 键 [ = ] val } [ , ... ] )

    指定用于写入文件格式的一个或多个选项。 有效的键和值取决于 file_format 你选择的值。 有关每种格式支持的选项,请参阅 “数据格式”选项。 还可以设置 path 密钥以指定目标目录。

  • VALUES ( { 值 |NULL } [ , ... ] )[ , ( … ) ]

    要插入的值。 可以插入显式指定的值或 NULL。 使用逗号分隔子句中的每个值。 若要插入多行,请指定多个值集。

  • query

    生成要插入的行的查询。 使用以下格式之一:

    • SELECT 语句
    • TABLE 语句
    • FROM 语句

    该语句将这些行写入目标目录中的一个或多个文件。 文件数量以及行在它们之间的分布方式未明确说明。 在中query加入ORDER BY子句并不能保证文件内或跨文件的行顺序,所以不要依赖文件名或零件号来重建排序顺序。 如果您需要按特定顺序排列行,请在读取目录时应用 ORDER BY 。 例如,要按顺序读取 Parquet 输出,请运行以下程序:

    SELECT * FROM parquet.`/Volumes/my_catalog/my_schema/my_volume/` ORDER BY col1;
    

示例

INSERT OVERWRITE DIRECTORY '/Volumes/my_catalog/my_schema/my_volume/'
    USING parquet
    OPTIONS (col1 1, col2 2, col3 'test')
    SELECT * FROM test_table;

INSERT OVERWRITE DIRECTORY
    USING parquet
    OPTIONS ('path' '/Volumes/my_catalog/my_schema/my_volume/', col1 1, col2 2, col3 'test')
    SELECT * FROM test_table;