如何设置PySpark中显示的默认位数？

Question

我想在PySpark中只看到n位数（例如3）的浮点数。有没有办法设置默认值？请注意，我不想对实际数据进行舍入。

以下内容显示了我的内容，而且信息太多了：

>>> df = sc.parallelize( [ ('a', 1), ('b', 2) ] ).toDF()
>>> df.withColumn("x", rand()).show()
+---+---+------------------+
| _1| _2|                 x|
+---+---+------------------+
|  a|  1|0.7468471761178085|
|  b|  2|0.6189219219244186|
+---+---+------------------+

谢谢！

Answer 1

如果仅用于显示，您可以使用pandas并指定浮动格式：

pd.options.display.float_format = '{:,.2f}'.format
df = sc.parallelize( [ ('a', 1), ('b', 2) ] ).toDF()
df.withColumn("x", rand()).limit(20).toPandas()