创建一个Spark数据框,只有一列具有1到1百万的数字

时间:2018-05-07 09:09:15

标签: python python-3.x apache-spark pyspark spark-dataframe

如何创建一个只有一列数字为1到1千万的Spark数据框?

我尝试使用Python创建一个数字列表,范围从1到1千万,但我的解决方案失败了。 请提前告知,谢谢。

我正在使用以下查询:

df_base1 = sqlc.range(0, 1000000)

但它失败了:

  

遇到错误:   来自http://:8999 / sessions / 401 /语句的状态代码“500”无效,错误有效负载:“java.lang.IllegalStateException:RPC通道已关闭。”

1 个答案:

答案 0 :(得分:0)

df_base1 = sqlc.range(0, 1000000)

工作正常。 有一些环境问题。