白痴的数据仓库/数据库/数据湖

时间:2016-08-19 01:33:20

标签: database data-warehouse data-lake

Hello geniuses(我敢说,Minkus'?)

一点背景知识。我在一家目前没有数据仓库的小型非技术公司工作。所有数据都是从一堆来源手动提取的(让我们说不同的平台,如Facebook和Twitter,客户端优秀数据),然后存储在整个服务器的excel电子表格中。

我正在寻找合并这些数据的方法,并将其存储在允许我访问历史记录的地方(目前我必须要搜索所有excel表并手动将它们加入,或者返回到Facebook并再次重新提取数据)

所以这是细分:

我有多个数据源

理想情况下连接到API以从Facebook和Instagram等平台手动提取数据,但如果这不存在,那就没什么大不了的了。现在正在寻找存储空间。

我非常贫穷。所以没有时间学习新的编程语言等。

我对某些东西感到满意"现成的" (那存在吗?)

会连接到R的东西?我有基本的SQL技能,中级R技能。

最终能够连接到Looker等BI解决方案或自定义构建的仪表板的东西。

那里有业务可以为我设置这样的东西,而无需聘请顾问吗?雪花是其中之一吗?

对于非常基本和混乱的问题,真诚地道歉(实际上,我的意思是)。我知道每个读过这篇文章的人都会比我更高级,所以我感谢你们所有人! (请将技术术语保持在最低限度。#ipiotproof。)

2 个答案:

答案 0 :(得分:1)

如果您现在无法购买或开发数据仓库/商业智能系统,那么我会研究一些自助服务选项。我知道该地区有很多优秀的供应商。但是,我的背景是在Microsoft On-Premise&云BI解决方案,所以我建议查看Microsoft PowerBI或Microsoft PowerQuery / PowerView / PowerPivot Excel插件。这两个选项都具有一些提取,转换和加载功能以及数据建模和可视化功能。在较新的版本中,他们尝试合并各种数据源功能,以便轻松地将数据导入工作区。

过去我曾经使用这两种工具进行POC项目,一旦BI计划达到预算,就可以获得所获得的知识,并通过数据仓库设计中的工具生成维度模型。

答案 1 :(得分:0)

如果你有一些编程技巧,我建议你检查一下python。这真的很容易,但管理数据传输最终将是一个小脚本。在短短几天内你就应该理解了。否则,如果您有资源,我建议您选择企业解决方案,因为它可以节省您的时间。