如果有一种简单的方法可以将mysqldump导入Pandas，我感兴趣。
我有一些小的（~110MB）表，我希望将它们作为DataFrames。
我希望避免将数据放回数据库，因为这需要安装/连接到这样的数据库。我有.sql文件，并希望将包含的表导入Pandas。是否存在任何模块？
如果版本控制很重要.sql文件全部列出“MySQL转储10.13 Distrib 5.6.13，对于Win32（x86）”作为转储产生的系统。
我在没有数据库连接的计算机上本地工作。我的工作的正常流程是从第三方获得.tsv，.csv或json，并做一些将被回馈的分析。一个新的第三方以.sql格式提供了所有数据，这打破了我的工作流程，因为我需要大量的开销才能将其转换为我的程序可以作为输入的格式。我们最终要求他们以不同的格式发送数据，但出于商业/声誉的原因，他们希望首先寻找合作。
编辑：下面是带有两个表的示例MYSQLDump文件。
/*
MySQL - 5.6.28 : Database - ztest
*********************************************************************
*/
/*!40101 SET NAMES utf8 */;
/*!40101 SET SQL_MODE=''*/;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
CREATE DATABASE /*!32312 IF NOT EXISTS*/`ztest` /*!40100 DEFAULT CHARACTER SET latin1 */;
USE `ztest`;
/*Table structure for table `food_in` */
DROP TABLE IF EXISTS `food_in`;
CREATE TABLE `food_in` (
`ID` int(11) NOT NULL AUTO_INCREMENT,
`Cat` varchar(255) DEFAULT NULL,
`Item` varchar(255) DEFAULT NULL,
`price` decimal(10,4) DEFAULT NULL,
`quantity` decimal(10,0) DEFAULT NULL,
KEY `ID` (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=latin1;
/*Data for the table `food_in` */
insert into `food_in`(`ID`,`Cat`,`Item`,`price`,`quantity`) values
(2,'Liq','Beer','2.5000','300'),
(7,'Liq','Water','3.5000','230'),
(9,'Liq','Soda','3.5000','399');
/*Table structure for table `food_min` */
DROP TABLE IF EXISTS `food_min`;
CREATE TABLE `food_min` (
`Item` varchar(255) DEFAULT NULL,
`quantity` decimal(10,0) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
/*Data for the table `food_min` */
insert into `food_min`(`Item`,`quantity`) values
('Pizza','300'),
('Hotdogs','200'),
('Beer','300'),
('Water','230'),
('Soda','399'),
('Soup','100');
/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;
答案 0 :(得分：14)
Pandas没有 native 方式来读取mysqldump而不通过数据库。
有一种可能的解决方法，但在我看来这是一个非常糟糕的主意。
当然你可以使用预处理器解析mysqldump文件中的数据。
MySQLdump文件通常包含许多我们在加载pandas数据帧时不感兴趣的额外数据，因此我们需要对其进行预处理并去除噪声，甚至重新格式化行以使它们符合。
使用StringIO我们可以读取文件，在将数据传送到the pandas.read_csv funcion之前处理数据
from StringIO import StringIO
import re
def read_dump(dump_filename, target_table):
sio = StringIO()
fast_forward = True
with open(dump_filename, 'rb') as f:
for line in f:
line = line.strip()
if line.lower().startswith('insert') and target_table in line:
fast_forward = False
if fast_forward:
continue
data = re.findall('\([^\)]*\)', line)
try:
newline = data[0]
newline = newline.strip(' ()')
newline = newline.replace('`', '')
sio.write(newline)
sio.write("\n")
except IndexError:
pass
if line.endswith(';'):
break
sio.pos = 0
return sio
现在我们有一个函数可以读取数据并将其格式化为CSV文件，我们可以使用pandas.read_csv()
import pandas as pd
food_min_filedata = read_dump('mysqldumpexample', 'food_min')
food_in_filedata = read_dump('mysqldumpexample', 'food_in')
df_food_min = pd.read_csv(food_min_filedata)
df_food_in = pd.read_csv(food_in_filedata)
结果：
Item quantity
0 'Pizza' '300'
1 'Hotdogs' '200'
2 'Beer' '300'
3 'Water' '230'
4 'Soda' '399'
5 'Soup' '100'
和
ID Cat Item price quantity
0 2 'Liq' 'Beer' '2.5000' '300'
1 7 'Liq' 'Water' '3.5000' '230'
2 9 'Liq' 'Soda' '3.5000' '399'
这种方法称为流处理，非常精简，几乎不占用任何内存。一般来说，最好使用这种方法更有效地将csv文件读入pandas。
解析我建议的mysqldump文件
答案 1 :(得分：3)
一种方法是export mysqldump to sqlite（例如run this shell script）然后读取sqlite文件/数据库。
请参阅the SQL section of the docs：
pd.read_sql_table(table_name, sqlite_file)
另一种选择就是直接在mysql数据库上运行read_sql ...
答案 2 :(得分：3)
我发现自己和你的情况类似，@ firelynx的回答非常有帮助！
但是由于我对文件中包含的表的了解有限，我通过添加标题生成（pandas自动拾取）来扩展脚本，以及搜索转储文件中的所有表。结果，我最终得到了一个以下脚本，确实非常快。我切换到io.StringIO，并将结果表保存为table_name.csv个文件。
P.S。我也支持反对依赖这种方法的建议，并提供代码仅用于说明目的：）
首先，我们可以像这样增加read_dump函数
from io import StringIO
import re, shutil
def read_dump(dump_filename, target_table):
sio = StringIO()
read_mode = 0 # 0 - skip, 1 - header, 2 - data
with open(dump_filename, 'r') as f:
for line in f:
line = line.strip()
if line.lower().startswith('insert') and target_table in line:
read_mode = 2
if line.lower().startswith('create table') and target_table in line:
read_mode = 1
continue
if read_mode==0:
continue
# Filling up the headers
elif read_mode==1:
if line.lower().startswith('primary'):
# add more conditions here for different cases
#(e.g. when simply a key is defined, or no key is defined)
read_mode=0
sio.seek(sio.tell()-1) # delete last comma
sio.write('\n')
continue
colheader = re.findall('`([\w_]+)`',line)
for col in colheader:
sio.write(col.strip())
sio.write(',')
# Filling up the data -same as @firelynx's code
elif read_mode ==2:
data = re.findall('\([^\)]*\)', line)
try:
# ...
except IndexError:
pass
if line.endswith(';'):
break
sio.seek(0)
with open (target_table+'.csv', 'w') as fd:
shutil.copyfileobj(sio, fd,-1)
return # or simply return sio itself
要查找表格列表，我们可以使用以下函数：
def find_tables(dump_filename):
table_list=[]
with open(dump_filename, 'r') as f:
for line in f:
line = line.strip()
if line.lower().startswith('create table'):
table_name = re.findall('create table `([\w_]+)`', line.lower())
table_list.extend(table_name)
return table_list
然后将两者结合起来，例如在你将运行的.py脚本中
python this_script.py mysqldump_name.sql [table_name]
import os.path
def main():
try:
if len(sys.argv)>=2 and os.path.isfile(sys.argv[1]):
if len(sys.argv)==2:
print('Table name not provided, looking for all tables...')
table_list = find_tables(sys.argv[1])
if len(table_list)>0:
print('Found tables: ',str(table_list))
for table in table_list:
read_dump(sys.argv[1], table)
elif len(sys.argv)==3:
read_dump(sys.argv[1], sys.argv[2])
except KeyboardInterrupt:
sys.exit(0)
答案 3 :(得分：1)
我想分享有关此问题的解决方案，并寻求反馈：
import pandas as pd
import re
import os.path
import csv
import logging
import sys
def convert_dump_to_intermediate_csv(dump_filename, csv_header, csv_out_put_file, delete_csv_file_after_read=True):
"""
:param dump_filename: five an mysql export dump (mysqldump...syntax)
:param csv_header: the very first line in the csv file which should appear, give a string separated by coma
:param csv_out_put_file: the name of the csv file
:param delete_csv_file_after_read: if you set this to False, no new records will be written as the file exists.
:return: returns a pandas dataframe for further analysis.
"""
with open(dump_filename, 'r') as f:
for line in f:
pre_compiled_all_values_per_line = re.compile('(?:INSERT\sINTO\s\S[a-z\S]+\sVALUES\s+)(?P<values>.*)(?=\;)')
result = pre_compiled_all_values_per_line.finditer(line)
for element in result:
values_only = element.groups('values')[0]
value_compile = re.compile('\(.*?\)')
all_identified = value_compile.finditer(values_only)
for single_values in all_identified:
string_to_split = single_values.group(0)[1:-1]
string_array = string_to_split.split(",")
if not os.path.exists(csv_out_put_file):
with open(csv_out_put_file, 'w', newline='') as file:
writer = csv.writer(file)
writer.writerow(csv_header.split(","))
writer.writerow(string_array)
else:
with open(csv_out_put_file, 'a', newline='') as file:
writer = csv.writer(file)
writer.writerow(string_array)
df = pd.read_csv(csv_out_put_file)
if delete_csv_file_after_read:
os.remove(csv_out_put_file)
return df
if __name__ == "__main__":
log_name = 'test.log'
LOGGER = logging.getLogger(log_name)
LOGGER.setLevel(logging.DEBUG)
LOGGER.addHandler(logging.NullHandler())
FORMATTER = logging.Formatter(
fmt='%(asctime)s %(levelname)-8s %(message)s',
datefmt='%Y-%m-%d %H:%M:%S')
SCREEN_HANDLER = logging.StreamHandler(stream=sys.stdout)
SCREEN_HANDLER.setFormatter(FORMATTER)
LOGGER.addHandler(SCREEN_HANDLER)
dump_filename = 'test_sql.sql'
header_of_csv_file = "A,B,C,D,E,F,G,H,I" # i did not identify the columns in the table definition...
csv_output_file = 'test.csv'
pandas_df = convert_dump_to_intermediate_csv(dump_filename, header_of_csv_file, csv_output_file, delete_csv_file_after_read=False)
LOGGER.debug(pandas_df)
当然，可以删除记录器部件。 编辑：没有看到这个话题那么老。对此我感到抱歉。
答案 4 :(得分：1)
我在没有数据库连接的计算机上本地工作。我工作的正常流程是给一个 .tsv
试试 mysqltotsv pypi 模块：
pip3 install --user mysqltotsv
python3 mysql-to-tsv.py --file dump.sql --outdir out1
这将在 .tsv 目录中生成多个 out1 文件（MySQL 转储中找到的每个表一个 .tsv 文件）。从那时起，您可以通过加载 TSV 文件继续使用 Pandas 的正常工作流程。