创建第一个数据管道

Question

我开始对大数据感兴趣。我很乐意将数据管道作为练习来构建，你们都知道我可以创建数据管道以适应这一概念的任何好的资源/站点/练习。我愿意接受任何一种技术。

Answer 1

好吧，这是一个广阔的领域，但是您可以阅读一些重要的概念，例如数据收集，流传输，处理，存储和分析。

您可以使用AWS服务更轻松地进行追赶。尝试在S3上玩转，导入一些CSV文件，使用AWS Glue通过SQL查询该数据。

对于技术含量较低的人，您可以阅读有关Lambda，DynamoDB等AWS Serverless服务的知识，这些服务需要较少的学习时间。

AWS有很好的例子：https://github.com/aws-samples

他们有许多有用的基础培训内容：https://aws.amazon.com/about-aws/whats-new/2019/06/new-digital-course-now-available-data-analytics-fundamentals/

Youtube上还有许多关于许多有用主题的教程。

祝你好运。