Question

我是Flume-ng的新手。我必须编写一个程序，它可以将文本文件传输到其他程序（代理）。我知道我们必须知道代理，即host-ip，端口号等。然后应该定义一个源，接收器和一个通道。我只想将日志文件传输到服务器。我的客户端代码如下。公共类MyRpcClientFacade {

public class MyClient{

  private RpcClient client;
  private String hostname;
  private int port;

  public void init(String hostname, int port) {
        this.hostname = hostname;
        this.port = port;
        this.client = RpcClientFactory.getDefaultInstance(hostname, port);

      }

      public void sendDataToFlume(String data) {
        Event event = EventBuilder.withBody(data, Charset.forName("UTF-8"));
        try {
          client.append(event);
        } catch (EventDeliveryException e) {
          client.close();
          client = null;
          client = RpcClientFactory.getDefaultInstance(hostname, port);
        }
      }

      public void cleanUp() {
        client.close();
      }
}

以上代码只能将String数据发送到指定的进程。但我必须发送文件。请告诉我，是否必须将Source,Channel and Sink写入服务器？如果是这样，如何配置和编写这三个。请帮我。提供一小部分Source,Sink And Channel

样本

Answer 1

实际上你只需要在每个节点上获得flume客户端。然后，您提供一个配置文件，提供有关其行为的信息。例如，如果您的节点读取文件（读取每个新行并将它们作为事件发送到通道），并通过RPC套接字发送文件内容。您的配置如下所示：

  # sources/sinks/channels list
  <Agent>.sources = <Name Source1>
  <Agent>.sinks = <Name Sink1>
  <Agent>.channels = <Name Channel1> 
  # Channel attribution to a source
  <Agent>.sources.<Name Source1>.channels = <Name Channel1>
  # Channel attribution to sink
  <Agent>.sinks.<Name Sink1>.channels = <Name Channel1>
  # Configuration (sources,channels and sinks)
  # Source properties : <Name Source1>
  <Agent>.sources.<Name Source1>.type = exec
  <Agent>.sources.<Name Source1>.command = tail -F test
  <Agent>.sources.<Name Source1>.channels = <Name Channel1>
  # Channel properties : <Name Channel1>
  <Agent>.channels.<Name Channel1>.type = memory
  <Agent>.channels.<Name Channel1>.capacity = 1000
  <Agent>.channels.<Name Channel1>.transactionCapacity = 1000
  # Sink properties : <Name Sink1>
  <Agent>.sinks.<Nom Sink1>.type = avro
  <Agent>.sinks.<Nom Sink1>.channel = <Nom Channel1>
  <Agent>.sinks.<Nom Sink1>.hostname = <HOST NAME or IP>
  <Agent>.sinks.<Nom Sink1>.port = <PORT NUMBER>

然后，您必须设置一个代理，该代理将读取同一端口上的avro源并以您希望的方式处理事件。我希望它有所帮助;）

Flume：数据传输到服务器

1 个答案: