我想计划一个基于GCP云平台的体系结构。以下是我必须涵盖的主题领域。有人可以帮我找出执行该操作的适当服务吗?
如果我缺少一些必须照顾的东西,也请添加。
答案 0 :(得分:0)
GCP提供了许多产品,这些产品可以部分重叠。使用哪种产品取决于更具体的用例,您可以找到关于它的概述here。
话虽如此,您所要求的服务的总体摘要为:
1。数据提取(批处理,实时,计划程序)
这取决于您的数据来自何处,但是最常见的选项是Dataflow(用于批处理和流传输)和Pub/Sub(用于流传输消息)。
2。数据分析
Dataprep(实际上在Dataflow之上运行)可用于数据分析,here是如何实现此概述。
3。基于AI / ML的数据处理
为此,您有several options,具体取决于您的需求。对于机器学习专业知识有限的开发人员,AutoML可以快速训练和部署模型。对于经验丰富的数据科学家,ML Engine可以训练和预测使用TensorFlow或scikit-learn等框架制作的自定义模型。
此外,针对video analysis,computer vision,speech to text,speech synthesis,natural language processing或translation
此外,甚至可以在GCP的数据仓库(BigQuery)中使用SQL语言执行一些ML任务。
4。分析数据处理
根据您的需求,您可以使用Dataproc(这是托管的Hadoop和Spark服务),或者使用Dataflow进行流和批处理数据。 BigQuery在设计时也考虑了分析操作。
5。弹性搜索
GCP没有直接提供托管的弹性搜索服务,但是您可以在marketplace上找到几个选项,例如Google API service的Kubernetes app或Kubernetes Engine
6。用户界面
如果您指的是自己使用的用户界面,则GCP’s console是您要使用的。如果您指的是最终用户的用户界面,建议您使用App Engine。
如果您要使用UI进行数据探索,则有Datalab(实际上是托管的笔记本服务)和Data Studio,您可以在其中实时构建数据图。 / p>
7。批量和实时发布
对于同步消息和异步消息,GCP中的发布服务均为Pub/Sub。
8。安全性
解决了GCP中的大多数安全问题here。就其本身而言,这是一个广泛的话题,可能应该需要一个单独的问题。
9。记录/审核
GCP使用Stackdriver记录其大多数产品,并提供了许多处理和分析这些日志的方法。
10。监控
Stackdriver也有monitoring features。
11。代码存储库
为此,有Cloud Source Repositories,它与GCP的automated build system集成在一起,也可以很容易地与Github存储库同步。
12。分析数据仓库
您没有要求这样做,但是我认为它是数据分析堆栈的重要组成部分。 对于GCP,则为BigQuery。