无法在Scala笔记本中导入考拉

时间:2020-02-11 10:38:03

标签: scala databricks azure-databricks spark-koalas

这似乎很基本,但根据我在databricks网站上看到的内容,我这边没有任何作用

我在集群上安装了考拉软件包 但是,当我尝试在Scala笔记本中导入软件包时,出现了问题。

command-3313152839336470:1: error: not found: value databricks
import databricks.koalas

如果我使用Python进行操作,一切都会很好

Details cluster & notebook

感谢您的帮助 马特

1 个答案:

答案 0 :(得分:3)

Koalas是一个Python程序包,它模仿了Pandas(另一个Python程序包)接口。尽管该项目可能包含某些Scala代码,但目前尚未发布任何Scala版本。 Koalas的目标是提供熊猫的直接替代品,以利用Apache Spark的分布式特性。由于Pandas仅在Python上可用,所以我不希望在Scala上直接使用此端口。

https://github.com/databricks/koalas

对于Scala来说,最好的选择是使用Spark的DataSet和DataFrame API: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html