我正在尝试使用pySpark写入hbase表。到目前为止,我能够从hbase读取数据。但在写入hbase表时会出现异常。
from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.sql.types import *
properties = {
"instanceId" : "hbase",
"zookeepers" : "10-x-x-x.local:2181,10-x-x-x.local:2181,10-x-x-x.local:2181",
"hbase.columns.mapping" : "KEY_FIELD STRING :key, A STRING c:a, B STRING c:b",
"hbase.use.hbase.context" : False,
"hbase.config.resources" : "file:///etc/hbase/conf/hbase-site.xml",
"hbase.table" : "t"
}
spark = SparkSession\
.builder\
.appName("hbaseWrite")\
.getOrCreate()
sc = spark.sparkContext
#I am able to read the data successfully.
#df = spark.read.format("org.apache.hadoop.hbase.spark")\
# .options( **properties)\
# .load()
data = [("3","DATA 3 A", "DATA 3 B")]
columns = ['KEY_FIELD','A','B']
cSchema = StructType([StructField(columnName, StringType()) for columnName in columns])
df = spark.createDataFrame(data, schema=cSchema)
df.write\
.options( **properties)\
.mode('overwrite').format("org.apache.hadoop.hbase.spark").save()
按以下格式执行命令:
spark2-submit --master local[*] write_to_hbase.py
Spark版本:2.2.0.cloudera1(我无法改变我的火花版本) HBase版本:1.2.0-cdh5.12.0(但我可以更改我的HBase版本)
注意:我已将hbase jar添加到spark2 jar文件夹中,并已将以下相关jar添加到spark2 jar文件夹中。
错误:
py4j.protocol.Py4JJavaError: An error occurred while calling o70.save.
: java.lang.RuntimeException: org.apache.hadoop.hbase.spark.DefaultSource does not allow create table as select.
at scala.sys.package$.error(package.scala:27)
at org.apache.spark.sql.execution.datasources.DataSource.write(DataSource.scala:476)
我尝试了多项建议,但没有任何效果。这可能是一个重复的问题,但我没有其他选择来找到答案。
答案 0 :(得分:2)
如果您使用的是Cloudera distribution
,那么Hard Luck没有正式的方法可以使用HBASE
写信给PYSAPRK
。这已由Cloudera support Team
确认。
但如果您使用的是Hortonworks
,如果您使用的是spark 2.0
,那么以下链接应该可以让您开始使用。
答案 1 :(得分:0)
通过编译git repo https://github.com/hortonworks-spark/shc解决它并将shc jar放入spark jar文件夹中。并遵循@Aniket Kulkarni提出的link建议
最终代码看起来像这样,
from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.sql.types import *
properties = {
"instanceId" : "hbase",
"zookeepers" : "10-x-x-x.local:2181,10-x-x-x.local:2181,10-x-x-x.local:2181",
"hbase.columns.mapping" : "KEY_FIELD STRING :key, A STRING c:a, B STRING c:b",
"hbase.use.hbase.context" : False,
"hbase.config.resources" : "file:///etc/hbase/conf/hbase-site.xml",
"hbase.table" : "test_table"
}
spark = SparkSession.builder\
.appName("hbaseWrite")\
.getOrCreate()
sc = spark.sparkContext
catalog = ''.join("""{
"table":{"namespace":"default", "name":"test_table"}
"rowkey":"key",
"columns":{
"KEY_FIELD":{"cf":"rowkey", "col":"key", "type":"string"},
"A":{"cf":"c", "col":"a", "type":"string"},
"B":{"cf":"c", "col":"b", "type":"string"}
}
}""".split())
data = [("3","DATA 3 A", "DATA 3 B")]
columns = ['KEY_FIELD','A','B']
cSchema = StructType([StructField(columnName, StringType()) for columnName in columns])
df = spark.createDataFrame(data, schema=cSchema)
df.write\
.options(catalog=catalog)\
.options( **properties)\
.mode('overwrite').format("org.apache.spark.sql.execution.datasources.hbase").save()