Question

我在Google云存储中有一个CSV文件。我正在使用Google Cloud Composer来运行Apache Airflow。我想在CSV文件上运行一些bash脚本，然后将其存储回Google Cloud Storage？我尝试搜索各种运算符，但找不到任何可处理google存储中文件的运算符。有什么办法可以做到这一点？

预先感谢。

Answer 1

这里是一个例子：

@RequestMapping(value = "/getByEmailId/{emailId}", method = RequestMethod.GET, produces = "application/json")
@ResponseStatus(OK)
public UserRegistrationResponse getUserByEmailId(@PathVariable String emailId) throws ServiceException {
    return generateUserOutput(userService.findUserByEmail(emailId));
}

您可以在此存储库https://github.com/blockchain-etl/bitcoin-etl-airflow/blob/develop/dags/bitcoinetl/build_export_dag.py中找到更多示例。

您还可以使用PythonOperator代替BashOperator。可以在此处找到一些示例https://github.com/blockchain-etl/ethereum-etl-airflow/blob/master/dags/export_dag.py

如何通过apache气流处理Google存储中的数据？

1 个答案: