如何直接在终端上而不是使用脚本文件来火花提交脚本?

时间:2019-03-04 16:04:54

标签: apache-spark terminal pyspark yarn spark-submit

我有一些使用以下命令执行某些任务的作业:

pyspark --master yarn --deploy-mode cluster --py-files file.py --name file file.py

我的python文件上的脚本非常简单:

from pyspark import SparkContext;
from pyspark.sql import HiveContext;
sc =SparkContext();
hive_context = HiveContext(sc);
table_1 = hive_context.sql("SELECT * FROM table_1");
table_1.write.insertInto("table_to_insert", overwrite=True);

我的问题是:我可以直接使用脚本而不是使用文件来运行此命令吗?像这样:

"pyspark --master yarn --deploy-mode cluster --py-script 'from pyspark import SparkContext; from pyspark.sql import HiveContext; sc =SparkContext(); hive_context = HiveContext(sc); table_1 = hive_context.sql("SELECT * FROM table_1"); table_1.write.insertInto("table_to_insert", overwrite=True);'"

这可能吗?

非常感谢您的支持!

0 个答案:

没有答案