这似乎很基本,但根据我在databricks网站上看到的内容,我这边没有任何作用
我在集群上安装了考拉软件包 但是,当我尝试在Scala笔记本中导入软件包时,出现了问题。
command-3313152839336470:1: error: not found: value databricks
import databricks.koalas
如果我使用Python进行操作,一切都会很好
感谢您的帮助 马特
答案 0 :(得分:3)
Koalas是一个Python程序包,它模仿了Pandas(另一个Python程序包)接口。尽管该项目可能包含某些Scala代码,但目前尚未发布任何Scala版本。 Koalas的目标是提供熊猫的直接替代品,以利用Apache Spark的分布式特性。由于Pandas仅在Python上可用,所以我不希望在Scala上直接使用此端口。
https://github.com/databricks/koalas
对于Scala来说,最好的选择是使用Spark的DataSet和DataFrame API: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html