Question

我正在尝试使用数据流来完成需要使用.csv和.json文件的任务。据我了解，我应该能够创建一个setup.py文件，其中将包含这些文件并将其分发给多个工作人员。

这是我的文件布局方式：

pipline.py
setup.py
utils /
  -->__init__.py
  -->**CSV.csv**
  -->**JSON.json**

这是我的setup.py文件：

import setuptools

setuptools.setup(name='utils',
                 version='0.0.1',
                 description='utils',
                 packages=setuptools.find_packages(),
                 package_data={'utils': ['**CSV.csv**', '**JSON.json**']},
                 include_package_data=True)

这是我的bean.DoFn函数：

class DoWork(beam.DoFn):
    def process(self, element):

        import pandas as pd

        df_csv = pd.read_csv('**CSV.csv**')
        df_json = pd.read_json('**JSON.json**')

        Do other stuff with dataframes

        yield [stuff]

我的管道设置如下：

dataflow_options = ['--job_name=pipline',
                    '--project=pipeline',
                    '--temp_location=gs://pipeline/temp',
                    '--staging_location=gs://pipeline/stage',
                    '--setup_file=./setup.py']

options = PipelineOptions(dataflow_options)
gcloud_options = options.view_as(GoogleCloudOptions)
options.view_as(StandardOptions).runner = 'DataflowRunner'

with beam.Pipeline(options=options) as p:
    update = p | beam.Create(files) | beam.ParDo(DoWork())

基本上，我不断得到：

IOError: File CSV.csv does not exist

它也不认为.json文件存在，只是在到达该步骤之前出错。这些文件可能无法进入数据流，或者我在DoFn中错误地引用了它们。我是否应该实际上将文件放入setup函数的data_files参数而不是package_data？

Answer 1

您需要以gs格式上传输入文件，并提供gs位置，而不是 CSV 。我认为您在本地运行了具有csv文件的代码，并且该代码位于同一目录中。但是使用DataflowRunner运行它需要gs中的文件。

将数据文件（.csv，.json）作为安装包的一部分附加到Dataflow上

1 个答案: