将大数据从服务器发送到另一个服务器

时间:2012-07-23 13:29:59

标签: php curl http-post

我使用CURL在服务器之间发送大量数据,使用POST,这样可以,还是有更好/标准的方式来发送卷曲的大型序列化数据?

问题是在php设置中的max-post-size,我必须更改它(默认2MB)。我还没有遇到任何问题,但是当系统在线时,每次都会发送大于50MB的数据!

有什么想法吗? 谢谢。

编辑:

我发送的是DATA而不是FILES,收到的数据应该由第二台服务器处理并保存到数据库/文件/执行某些操作,并且可能需要在处理数据后发送响应。

我只是想知道,除了max-post-size之外我还会遇到任何其他问题吗? (忘记curl和php的超时),无论如何都要让服务器不要看max_post_size?也许通过使用PUSH?还是PUT? post_size会影响PUSH或PUT吗?以及如何通过卷曲使用它? 这么多问题!

2 个答案:

答案 0 :(得分:2)

使用cURL非常好。

就个人而言,我宁愿不必通过网络服务器(例如Apache)来做,因为沿途可能存在太多潜在的错误,例如。 PHP超时,Web服务器超时,内存限制,无写权限,仅限Web根等

我更愿意通过专为文件传输设计的机制来实现:

  • FTP
  • scp(通常是FTP over SSH)
  • Dropbox(有API)
  • Amazon S3(带有PHP library的简单API)

答案 1 :(得分:0)

方式还可以。

另外两个想法:

  1. 使用FTP(您可以将大型序列化文件上传到可从服务器访问的ftp服务器
  2. 使用mysql(您可以将大型序列化内容存储在mysql服务器上)