在java中使用spark cassandra连接器的麻烦

时间:2015-06-26 12:03:20

标签: java cassandra apache-spark spark-cassandra-connector

我正在尝试从java中的spark查询cassandra。下面是获取数据的代码,但mapToRow方法有两个参数。第一个是类,第二个是ColumnMapper。如何在java中获取ColumnMapper类的实例。谷歌搜索它建议创建派生类JavaBeanColumnMapper的对象,但没有找到如何实例化JavaBeanColumnMapper类。

List<String> dates = Arrays.asList("2015-02-02","2015-02-08");
    JavaRDD<DailyTaxlot> openTaxlots = CassandraJavaUtil.javaFunctions(sc).
            cassandraTable("wedbush_praveen_testing", "cf_taxlots",CassandraJavaUtil.mapToRow(DailyTaxlot.class),).
                    where("openclosetag=?","Open").where("rundate IN",dates);

任何领导都将受到赞赏。

1 个答案:

答案 0 :(得分:1)

在这里查看来自spark-cassandra-connector的示例:

JavaApiDemo.java

在该示例中,您可以看到如何定义Person bean类。 API将根据需要为每一行实例化它。

JavaRDD<Person> rdd = CassandraJavaUtil.javaFunctions(sc).cassandraTable("test", "people", mapRowTo(Person.class));

// Bean definition
public static class Person implements Serializable {
    private Integer id;
    private String name;
    private Date birthDate;

    public static Person newInstance(Integer id, String name, Date birthDate) {
        Person person = new Person();
        person.setId(id);
        person.setName(name);
        person.setBirthDate(birthDate);
        return person;
    }

    public Integer getId() {
        return id;
    }

    public void setId(Integer id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Date getBirthDate() {
        return birthDate;
    }

    public void setBirthDate(Date birthDate) {
        this.birthDate = birthDate;
    }  
}