我有一些使用以下命令执行某些任务的作业:
pyspark --master yarn --deploy-mode cluster --py-files file.py --name file file.py
我的python文件上的脚本非常简单:
from pyspark import SparkContext;
from pyspark.sql import HiveContext;
sc =SparkContext();
hive_context = HiveContext(sc);
table_1 = hive_context.sql("SELECT * FROM table_1");
table_1.write.insertInto("table_to_insert", overwrite=True);
我的问题是:我可以直接使用脚本而不是使用文件来运行此命令吗?像这样:
"pyspark --master yarn --deploy-mode cluster --py-script 'from pyspark import SparkContext; from pyspark.sql import HiveContext; sc =SparkContext(); hive_context = HiveContext(sc); table_1 = hive_context.sql("SELECT * FROM table_1"); table_1.write.insertInto("table_to_insert", overwrite=True);'"
这可能吗?
非常感谢您的支持!