在EC2中运行时，Flink不从S3读取文件

Question

我在S3内的S3中有多个数据。我试图在EC2实例中运行我的Flink程序。我在EC2中有IAM角色，能够从S3读取数据。但是当我运行程序时，我收到以下错误：

Submitting job with JobID: 445b8130e310bcb791afff2301c40b16. Waiting for job completion. No JobSubmissionResult returned, please make sure you called ExecutionEnvironment.execute()

我的pogram在程序结束时确实有env.execute()。我非常确定它无法从S3获取/读取文件。我的代码如下所示：

DataSet<Tuple2<String, String>> datalines=env.readCsvFile("s3://CopyOfData/Days/") .fieldDelimiter("|") .types(String.class, String.class);

请帮我解决这个问题。我的flink-conf.yaml也设置了HADOOP_CONF_DIR。

Answer 1

我首先检查JobManager和TaskManager日志以寻找线索。您还可以查看此common issues for Flink on AWS列表。

也可能需要增加akka.client.timeout。请参阅this question，但简而言之，请尝试在flink-conf.yaml中添加akka.client.timeout: 600 s之类的内容。