图形加载器可以分发吗?我有生产模式的集群机器

时间:2016-11-10 12:10:18

标签: spark-streaming datastax datastax-enterprise datastax-enterprise-graph

我使用DSE Graph Loader读取Hadoop分布式文件系统的输入文件。

我想以分布式方式将数据插入dse图形集群(在多台机器上)。如何实现?

1 个答案:

答案 0 :(得分:0)

DSE图形加载器是一个命令行实用程序,它支持从许多来源加载数据,包括CSV,文本,JSON,Gryo,HDFS和AWS S3源。它不能作为Hadoop / Spark作业运行。

要将injest与多个线程并行化,请配置参数 load_threads (默认值为1)。可以在此处找到文档:Configuring DSE Graph Loader