如何在Datastax Datacenter中启用Spark?

时间:2018-01-30 07:06:27

标签: solr datastax datastax-enterprise datastax-startup datastax-enterprise-graph

我们当前的Datastax数据中心设置包含6个节点,其中包括Solr和graph 启用

root @ ip-10-10-5-36:〜#cat / etc / default / dse | grep -E' SOLR_ENABLED | GRAPH_ENABLED'

GRAPH_ENABLED=1
SOLR_ENABLED=1

root @ ip-10-10-5-36:〜#nodetool status

Datacenter: SearchGraph
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns    Host ID                               Rack
UN  10.10.5.56  456.58 MiB  1            ?       936a1ac0-6d5e-4a94-8953-d5b5a2016b92  rack1
UN  10.10.5.46  406.24 MiB  1            ?       3f41dc2a-2672-47a1-90b5-a7c2bf17fb50  rack1
UN  10.10.5.76  392.99 MiB  1            ?       29f8fe44-3431-465e-b682-5d24e37d41d7  rack2
UN  10.10.5.66  414.16 MiB  1            ?       1f7de531-ff51-4581-bdb8-d9a686f1099e  rack2
UN  10.10.5.86  424.3 MiB   1            ?       27d37833-56c8-44bd-bac0-7511b8bd74e8  rack2
UN  10.10.5.36  511.44 MiB  1            ?       0822145f-4225-4ad3-b2be-c995cc230830  rack1

我们计划在现有数据中心实施spark。我的问题是

1)启用spark是否会影响datastax中的现有数据和服务?

2)或者不是启用SPARK_ENABLED = 1,我们是否需要单独设置    Spark的数据中心?

已更新:

3)DC1和DC2如何在环中相互连接,它是基于相同的Cluster    在 cluster_name:参数中指定的名称。    配置文件:/etc/dse/cassandra/cassandra.yaml

4)是否有任何单独的配置需要在数据中指定spark master    中央。

5)我是否需要在Spark(DC2)种子中指定SearchGraph(DC1)种子ip    配置部分?或者只是Spark种子ip只需要在DC2中指定    配置部分(cassandra:yaml)

2 个答案:

答案 0 :(得分:0)

建议为DSE Analytics创建单独的数据中心。完整流程is described in documentation

答案 1 :(得分:0)

要增加Alex的答案,这取决于您是否要执行Graph Analytics。什么类型的Spark工作将在启用时执行?