为什么不在SparkContext.textFile()中读取文件

时间:2017-03-02 05:53:27

标签: apache-spark amazon-ec2

为什么我不能阅读hadoop自述文件?

Spark REPL Image

1 个答案:

答案 0 :(得分:0)

您可以在下面找到Spark 2.1.0的解决方案

id_status = [['5471944843687229cdfb0000','closed'], ...] 

bulk_order = id_status.map do |id, status| # Using array destructuration
  { update_one:
    {
      filter: { _id: id },
      update: { :'$set' => {
        status: status,
      }}
    }
  }
end
YourCollection.collection.bulk_write(bulk_order)