Question

我正在尝试做...来自我的前卫。

val file = sc.textFile（“cfs：// ip / .....”）

但是我得到java.io.IOException：没有用于scheme的FileSystem：cfs exception ...

我应该如何修改core-site.xml以及在哪里？它应该在dse节点上，或者我应该将它作为资源添加到我的jar中。我使用maven构建我的jar并远程执行作业......来自一个没有cassandra或spark或类似东西的非dse节点......没有cfs文件的其他类型的流程工作正常...所以jar是可以的到目前为止......

日Thnx！

Answer 1

本页中间有一些关于Spark使用Hadoop进行某些操作的信息，例如CFS访问：http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/spark/sparkCassProps.html

我从非DSE节点使用Hive时遇到了一个问题，该节点是通过向core-site.xml添加属性文件来解决的。这真是一个很长的镜头，因为它是Spark，但如果您愿意尝试，请尝试将远程机器的IP地址添加到core-site.xml文件中。

<property>
 <name>cassandra.host</name>
 <value>192.168.2.100</value>
<property>

在/ etc / dse / hadoop / conf /或install_location / resources / hadoop / conf /中找到core-site.xml，具体取决于安装类型。

我假设你在hadoop和spark模式下启动了DSE集群：http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/spark/sparkStart.html

Answer 2

已经有一段时间了。

通过将hadoop客户端集成到兼容的hadoop fs中，可以照常进行集成。复制core-site.xml（在那里附加dse-core-default.xml）和dse.yaml，cassandra.yaml然后它需要在类路径中进行适当的依赖关系设置，例如。 dse.jar，cassandra-all等。

注意：这不是官方支持，所以最好使用其他方式。

如何从远程非dse（datastax）节点访问cfs url

2 个答案: