带有PIG和Cassandra CqlStorage的output_query的示例

Question

我正在尝试使用以下方法将数据写入Cassandra CQL 3表：

STORE G INTO'cql：// keyapse / col_family？output_query =不知道这里有什么'使用CqlStorage（）;

output_query是什么样的：

UPDATE col_family SET col1 = $ 0，col2 = $ 3 WHERE KEY = $ 2

Answer 1

您需要注意两者：存储URL和数据准备。 这是一个应该有效的例子。

假设您需要在以下结构中插入数据：

CREATE TABLE example (
  row_id text PRIMARY KEY,

  value1 text,

  value2 int
);

您需要准备如下数据：

data_to_insert = FOREACH some_set_of_data GENERATE 

    TOTUPLE(TOTUPLE('row_id',row_id)), TOTUPLE(value1, value2) ;

最后，存储语句将是：

STORE data_to_insert INTO 'cql://my/example?output_query=update example set value1 @ # , value2 @ #' USING CqlStorage();

Answer 2

此博客有一些细节，但没有具体的例子： http://www.datastax.com/dev/blog/cql3-table-support-in-hadoop-pig-and-hive

Answer 3

我写了一篇关于如何使用PIG作为使用CQL3的Cassandra的数据加载器的简要说明。

http://www.schappet.com/pig_cassandra_bulk_load

基本设置包括@Kernald

中的信息

STORE data_to_insert INTO
  'cql://myschema/example?output_query=update example set value1 @ #,value2 @ #' USING CqlStorage();