Question

我在本地系统的eclipse中运行Spark Twitter情感分析代码。服务器中的所有hadoop和spark群集设置。是否可以在我的本地系统中运行集群设置不是他们的？

如果是，请指导我如何。在跑步的时候，我正在给出论据

> --class com.dhruv.Predict \
> --master spark://<spark cluster ip>:7077 \
> --num-executors 2 \
> --executor-memory 512m \
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \
> hdfs://tmp/tweets/dataset.csv trainedModel \
> --consumerKey  \
> --consumerSecret  \
> --accessToken  \
> --accessTokenSecret

但它不起作用。请指导我

Answer 1

如评论中所述：

文件必须全局可见，因此它应位于每台计算机或分布式文件系统中的相同路径中，例如在HDFS中

将JAR复制到每台计算机或HDFS

火花在客户端机器中提交

1 个答案: