将CSV文件传输到BI应用程序的正确方法是什么？

Question

我们正在做BI应用程序，我们的客户每天都会向我们发送数据文件。我们正在使用CSV文件进行数据交换，因为我们的客户习惯使用Excel观看数据，他们尚未准备好在他们的系统上使用API​​（可能在几年内我们将能够使用XML / JSON Web服务，我们希望）。

目前，数据传输是通过FTP（事实上是SFTP）进行的。我们的客户在FTP服务器上自动上传文件，我们有一个CRON任务，可以监视文件是否已发送。

但是有许多不足之处：

• 如果上传完成或仍在进行中我们无法确切知道（我们要求他们上传一个带有临时名称的文件，然后移动它，但很多人仍然没有这样做）
• 因此，我们可以尝试猜测，并考虑上传是否已经过了足够的时间。但是FTP协议不允许获得服务器时间，并且时间可以被淘汰。所以我们可以上传一个空文件并读取它的日期以了解服务器的时间。但我们需要写权限才能做到这一点......
• FTP协议允许暂停上传...

然后，我们正在考虑通过要求我们的客户使用HTTPS直接在我们的应用程序上传文件来传输文件。这更可靠，但不太方便：

• 我们的客户在上传后无法检查文件内容
• 我们必须小心服务器上传大小和超时
• 文件可能非常大（最多300Mo），因此最好在上传之前将其压缩（可以将大小缩小到10％）。
• 这对我们来说不仅仅是一个FTP服务器（我们需要创建UI，上传进度，列出文件以便下载它们，...）

还有其他解决方案吗？ BI应用程序通常如何共享数据？ HTTPS对我们来说是一个很好的解决方案吗？

Answer 1

我们找到了一个webdav服务器的解决方案。我们使用的是Nextcloud，它提供了一个在线界面，以及使用webdav协议的脚本访问。

它比FTP更可靠，因为文件只在上传完成后才会出现 它比我们的应用程序上的HTTP上传更好。我们不必处理文件上传，创建接口......