输入apache_beam.examples.wordcount

Question

我试图运行Beam Python-SDK示例，但是在读取输入时遇到问题。

https://cwiki.apache.org/confluence/display/BEAM/Usage+Guide#UsageGuide-RunaPython-SDKPipeline

当我使用gs://dataflow-samples/shakespeare/kinglear.txt作为输入时，错误是apache_beam.io.filesystem.BeamIOError: Match operation failed with exceptions {'gs://dataflow-samples/shakespeare/kinglear.txt': TypeError("__init__() got an unexpected keyword argument 'response_encoding'",)}

当我使用本地文件时，似乎它实际上并未读取该文件，并且什么也不输出。结果不包含“ has_job”，我不确定它实际上是什么意思https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/wordcount.py#L118。

Answer 1

此错误是因为您的google-apitools版本太旧。您需要v0.5.23或更高版本才能避免此错误。

Beam python具有strict version requirements的依赖性。如果您正在运行Beam 2.11，则需要使用google-apitools v0.5.26。