在GCP中规划架构

时间:2018-10-23 07:33:53

标签: google-cloud-platform

我想计划一个基于GCP云平台的体系结构。以下是我必须涵盖的主题领域。有人可以帮我找出执行该操作的适当服务吗?

  1. 数据提取(批处理,实时,计划程序)
  2. 数据分析
  3. 基于AI / ML的数据处理
  4. 分析数据处理
  5. 弹性搜索
  6. 用户界面
  7. 批处理和实时发布
  8. 安全性
  9. 记录/审核
  10. 监控
  11. 代码存储库

如果我缺少一些必须照顾的东西,也请添加。

1 个答案:

答案 0 :(得分:0)

GCP提供了许多产品,这些产品可以部分重叠。使用哪种产品取决于更具体的用例,您可以找到关于它的概述here

话虽如此,您所要求的服务的总体摘要为:

1。数据提取(批处理,实时,计划程序)

这取决于您的数据来自何处,但是最常见的选项是Dataflow(用于批处理和流传输)和Pub/Sub(用于流传输消息)。

2。数据分析

Dataprep(实际上在Dataflow之上运行)可用于数据分析,here是如何实现此概述。

3。基于AI / ML的数据处理

为此,您有several options,具体取决于您的需求。对于机器学习专业知识有限的开发人员,AutoML可以快速训练和部署模型。对于经验丰富的数据科学家,ML Engine可以训练和预测使用TensorFlow或scikit-learn等框架制作的自定义模型。

此外,针对video analysiscomputer visionspeech to textspeech synthesisnatural language processingtranslation

此外,甚至可以在GCP的数据仓库(BigQuery)中使用SQL语言执行一些ML任务。

4。分析数据处理

根据您的需求,您可以使用Dataproc(这是托管的Hadoop和Spark服务),或者使用Dataflow进行流和批处理数据。 BigQuery在设计时也考虑了分析操作。

5。弹性搜索

GCP没有直接提供托管的弹性搜索服务,但是您可以在marketplace上找到几个选项,例如Google API serviceKubernetes appKubernetes Engine

6。用户界面

如果您指的是自己使用的用户界面,则GCP’s console是您要使用的。如果您指的是最终用户的用户界面,建议您使用App Engine

如果您要使用UI进行数据探索,则有Datalab(实际上是托管的笔记本服务)和Data Studio,您可以在其中实时构建数据图。 / p>

7。批量和实时发布

对于同步消息和异步消息,GCP中的发布服务均为Pub/Sub

8。安全性

解决了GCP中的大多数安全问题here。就其本身而言,这是一个广泛的话题,可能应该需要一个单独的问题。

9。记录/审核

GCP使用Stackdriver记录其大多数产品,并提供了许多处理和分析这些日志的方法。

10。监控

Stackdriver也有monitoring features

11。代码存储库

为此,有Cloud Source Repositories,它与GCP的automated build system集成在一起,也可以很容易地与Github存储库同步。

12。分析数据仓库

您没有要求这样做,但是我认为它是数据分析堆栈的重要组成部分。 对于GCP,则为BigQuery