我很新兴。所以,我的问题可能看起来很简陋。 我在Ubuntu 16.04上安装了Spark。并已配置ipython笔记本与pyspark一起使用它。 我目前正在尝试https://github.com/jadianes/spark-py-notebooks/blob/master/nb10-sql-dataframes/nb10-sql-dataframes.ipynb的示例 当我运行以下代码时
interactions_df = sqlContext.createDataFrame(row_data)
interactions_df.registerTempTable("interactions")
我收到错误SQLContext has no attribute createDataFrame
我在谷歌搜索过这个问题,大多数人都说更新到了更新的版本。但我目前正在使用带有Hadoop 2.7的spark 2.0.2
最初我在Windows上工作,同时运行相同的代码Job aborted due to stage failure
,这是一个内存问题。我尝试增加执行程序内存和驱动程序内存。但它没有用。
所以我改为Ubuntu。现在我面临着另一个问题。 请建议。
提前谢谢。