如何解决UI中的“找不到文件（已删除）”

Question

我正在尝试将csv文件中的某些列的数据类型推送到Big查询之前。不管我如何运行，最终都会得到：

未找到文件（已删除）：找不到文件gs：//bucketshahtest/*****/********.csv。初始化数据流作业时可能已将其删除。请验证源文件仍然可用，然后重新运行作业。

（为使之成为公共论坛，请隐藏文件名）

我尝试更改导出文件名，尝试重命名源文件以及更改是导出到Google Cloud Storage还是BigQuery

我这样做是为了最终能够将文件提取到Google Big Query中，以便我可以对其进行处理。

Answer 1

我不确定您是在创建作业还是在运行作业时遇到此错误（您可能想更新原始问题以进行澄清）。

我看到了几种可能性：

1. 对在Dataprep界面中工作时看到的数据进行了采样。基础文件可能已被删除，但是您仍然可以看到示例。这可能是由于存储桶/文件夹的过期策略或手动操作所致。您还可以通过选择数据集，选择“替换”，然后从Cloud Storage重新导入文件来进行检查。
2. 检查输入文件在Cloud Storage browser interface中是否存在。特别注意字母大小写和标点符号。另外请记住，在此上下文中，包含多个斜杠的文件路径（例如“ test // file.csv”）会将它们展平为单个斜杠（因此请相应地设置您的URL）。此外，请确保在之后没有斜杠 文件名。如果可能，最好从“导入”或“替换”屏幕上的内置存储浏览器中选择文件，以免出现问题。
3. Dataprep也可能没有从Cloud Storage存储桶或文件夹读取的正确权限。确保您正在从同一项目中读取数据，并且已遵循Dataprep的设置步骤。您可能需要仔细检查您是否已完成Quickstart中的所有步骤，包括启用Cloud Storage API。另外，这里还有using Dataprep with Cloud Storage
上的一些其他详细信息

您肯定要使用其他文件名进行导出（或直接导入到BigQuery）。还要确保作业设置中没有覆盖文件的输出，并且没有输出到BigQuery的输出。 。 。这也可以解释它失败的原因（因为它可能会覆盖尝试读取的文件）。通常，您不想将输出文件写入默认的Uploads文件夹或Dataprep的临时目录。

如果仍然遇到问题，可以尝试通过“导入”对话框上载文件，并查看在Cloud Storage中创建文件是否引发错误，这表明权限问题。

如果所有其他方法都失败了，我将创建一个新的Flow并在那里重新创建数据集和配方，以测试并消除早期版本中的任何工件。

更新：还值得检查Cloud Storage对象是否符合其object naming guidelines