Question

我正在尝试使用C＃将巨大的SQL文件（超过几GB）上传到远程mysql服务器。

有没有标准的方法;

开始将SQL文件读入内存
一旦我们有了可用的东西就停止
执行该位
从内存中删除该位
阅读下一个可用的部分
等

或者我是否必须自己编写正则表达式或其他内容？文件太大，无法一次性读取内存。

启动其中一个sql文件（如果它有帮助的话）

-- MySQL dump 10.13  Distrib 5.1.49, for debian-linux-gnu (x86_64)
--
-- Host: localhost    Database: qqqq
-- ------------------------------------------------------
-- Server version   5.1.49-3

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Current Database: `qqqq`
--

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `qqqq` /*!40100 DEFAULT CHARACTER SET latin1 */;

USE `qqqq`;

--
-- Table structure for table `config`
--

DROP TABLE IF EXISTS `config`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `config` (
  `name` varchar(200) NOT NULL,
  `value` varchar(200) NOT NULL,
  `timestamp` int(11) NOT NULL,
  UNIQUE KEY `name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `config`
--

LOCK TABLES `config` WRITE;
/*!40000 ALTER TABLE `config` DISABLE KEYS */;
INSERT INTO `config` VALUES ('someConfigValue','324',0),('someConfigValue2','27',0),('someConfigValue3','0',0);
/*!40000 ALTER TABLE `config` ENABLE KEYS */;
UNLOCK TABLES;

我想我不能每次都分开它;发生，因为其中一个也可能在文本字符串中。

Answer 1

由于您已mysqldump实用程序创建了此转储，我建议您部分转储。以下是部分转储的一些技巧。

按表格拆分

如果您有许多表，则可以按表

拆分转储过程

mysqldump database table1 > table.sql
mysqldump database table2 table3 > table2-3.sql

按行拆分

如果某些表中有数百万行，则可以在转储时按行拆分。假设您有一个表bigtable并且它有一个自动列id以下两个命令将它们拆分为偶数编号的自动列。

mysqldump --where="id%2=1" database bigtable  > bigtable_part1.sql
mysqldump --where="id%2=0" database bigtable  > bigtable_part2.sql

如果没有自动列，则需要依赖其他启发式方法。

mysqldump --where="gender='M'" database users  > users_male.sql
mysqldump --where="gender='F'" database users  > users_female.sql

Answer 2

尝试查找常见的断点或类似的拆分SQL文件安全的地方。例如：

--
-- (command here)
--

似乎用于表示在操作块之前出现的“重要”命令。您可以尝试将每个--\n--拆分为常见的'safespot'，因为换行符应该在查询中进行转义。

Answer 3

您可以尝试在内存中加载一些SQL，使用“SET PARSEONLY ON”在服务器上执行它。如果它解析ok然后尝试执行然后转到下一步，如果没有，则加载一小段文本（直到下一个';'）然后重试。

当然，它解析ok的事实并不意味着它会执行正常，但我认为你已经对执行失败进行了错误处理，对吧？：）

Answer 4

我遇到了类似的问题，我最终做的是使用system split命令拆分sql文件。

split -l 1000 import.sql splited_file

以上将每1000行拆分一次sql文件。

希望这有助于某人。

可能在最小的块中拆分巨大的sql转储文件

4 个答案:

按表格拆分

按行拆分