我几乎每周有一次TB数据被定期加载到MYSQL数据库。
使用的服务器配置较低，每次上传都需要很长时间。
任何人都可以建议我使用一种工具或有效的技术来处理这个问题。
答案 0 :(得分：1)
我个人认为LOAD DATA INFILE最适合我。看看：http://dev.mysql.com/doc/refman/5.1/en/load-data.html。
但正如@duffymo所说，如果你的服务器根本无法解决这个问题，那么你上传数据的方式并不重要，它可能在物理上不可能更快（磁盘每秒只能写这么多数据）。
答案 1 :(得分：0)
这不是效率问题。没有软件可以解决这个问题您的问题是服务器和网络。
每周1TB？在功能不足的服务器上的MySQL的单个实例中？没有分片或复制？我真诚地怀疑。但如果你必须继续，也许你应该研究Hadoop。将您的数据保存在Hadoop文件系统中。你不必将它移动到任何地方。使用Hive for SQL并让map-reduce帮助处理。