永远不会从pyspark写入cosmosdb永远不会运行/永远不会成功或失败

时间:2019-01-14 11:28:09

标签: apache-spark pyspark azure-cosmosdb databricks azure-databricks

我正在使用pyspark / databricks将E.T.L数据从实木复合地板文件传输到CosmosDB(documentdb API)。

尽管首次成功进行了5行数据测试,但随后尝试在cosmosdb中写入数据的所有尝试均无济于事。即使只有一行,它也将永远运行。监视cosmosdb时,“指标”界面中会显示规则,恒定,连续的写入请求,以正确的集合显示,但不会写入任何内容。

在stderr中出现错误,指出“ {“ Errors”:[“请求的资源在服务器上不再可用。”]}“但它不会失败,它只会循环。

我什至不知道如何在那儿找到问题。

config:

writeConfigUL = {
    "Endpoint" : "",
    "Masterkey" : "",
    "Database" : "Database",
    "Collection" : "Collection",
    "WritingBatchSize" : 500,
    "Upsert" : "true"
}

以“覆盖”模式书写

使用azure_cosmosdb_spark_2_3_0_2_11_1_2_7_uber.jar

0 个答案:

没有答案