通过Python连接到Cloudera Cluster

Question

我有一个启动并运行的Cloudera集群。

我目前正在编写一个Python应用程序，它会查询API以获得响应。我正在将此响应写入应用程序中的文本文件。

但是，我还希望在应用程序中以编程方式将此文本文件导出到cloudera集群。这可能吗？

请您指点一些参考或示例代码来实现这一目标？或者只是你对此的想法和建议。

谢谢！

Answer 1

您可能希望了解Spotify的Snakebite项目，该项目为您提供了一种直接通过Python使用HDFS的方法。 http://spotify.github.io/snakebite/

from snakebite.client import Client
client = Client("localhost", 54310, use_trash=False)
for x in client.ls(['/']):
    print x