我正在使用pyspark / databricks将E.T.L数据从实木复合地板文件传输到CosmosDB(documentdb API)。
尽管首次成功进行了5行数据测试,但随后尝试在cosmosdb中写入数据的所有尝试均无济于事。即使只有一行,它也将永远运行。监视cosmosdb时,“指标”界面中会显示规则,恒定,连续的写入请求,以正确的集合显示,但不会写入任何内容。
在stderr中出现错误,指出“ {“ Errors”:[“请求的资源在服务器上不再可用。”]}“但它不会失败,它只会循环。
我什至不知道如何在那儿找到问题。
config:
writeConfigUL = {
"Endpoint" : "",
"Masterkey" : "",
"Database" : "Database",
"Collection" : "Collection",
"WritingBatchSize" : 500,
"Upsert" : "true"
}
以“覆盖”模式书写
使用azure_cosmosdb_spark_2_3_0_2_11_1_2_7_uber.jar