是否可以从pyspark连接到memsql？
我听说memsql最近在pyspark之上构建了流线型基础设施以允许自定义python转换
但这是否意味着我可以运行pyspark或提交连接到memsql的python spark作业？
答案 0 :(得分：0)
对这两个问题都是肯定的。
如果您的目标是将数据导入MemSQL或在摄取期间执行转换，那么Streamliner是最好的方法。如何在Streamliner中使用Python：http://docs.memsql.com/latest/spark/memsql-spark-interface-python/
您还可以从Spark应用程序查询MemSQL。有关详细信息，请访问：http://docs.memsql.com/latest/spark/spark-sql-pushdown/
您还可以运行Spark shell。见http://docs.memsql.com/latest/ops/cli/SPARK-SHELL/＆amp; http://docs.memsql.com/latest/spark/admin/#launching-the-spark-shell