Question

我有一组我想要处理的.csv文件。使用SQL查询处理它会容易得多。我想知道是否有某种方法可以加载.csv文件并使用SQL语言来使用像python或ruby这样的脚本语言来查看它。使用类似于ActiveRecord的东西加载它会很棒。

问题是我不想在运行脚本之前在某处运行数据库。我不需要在脚本语言和一些模块之外进行额外的安装。

我的问题是我应该使用哪种语言和哪些模块来执行此任务。我环顾四周，找不到任何适合我需要的东西。它甚至可能吗？

Answer 1

python中包含sqlite3。有了它，您可以创建一个数据库（ on memory ）并向其添加行，并执行SQL查询。

如果你想要类似ActiveRecord的简洁功能，你应该添加一个外部ORM，比如sqlalchemy。这是一个单独的下载，但

使用sqlalchemy的快速示例：

from sqlalchemy import create_engine, Column, String, Integer, MetaData, Table
from sqlalchemy.orm import mapper, create_session
import csv
CSV_FILE = 'foo.csv'
engine = create_engine('sqlite://') # memory-only database

table = None
metadata = MetaData(bind=engine)
with open(CSV_FILE) as f:
    # assume first line is header
    cf = csv.DictReader(f, delimiter=',')
    for row in cf:
        if table is None:
            # create the table
            table = Table('foo', metadata, 
                Column('id', Integer, primary_key=True),
                *(Column(rowname, String()) for rowname in row.keys()))
            table.create()
        # insert data into the table
        table.insert().values(**row).execute()

class CsvTable(object): pass
mapper(CsvTable, table)
session = create_session(bind=engine, autocommit=False, autoflush=True)

现在您可以查询数据库，按任何字段过滤等等。

假设您在此csv上运行上面的代码：

name,age,nickname
nosklo,32,nosklo
Afila Tun,32,afilatun
Foo Bar,33,baz

这将使用字段name，age，nickname在内存中创建和填充表格。然后，您可以查询表：

for r in session.query(CsvTable).filter(CsvTable.age == '32'):
    print r.name, r.age, r.nickname

这将自动创建并运行SELECT查询并返回正确的行。

使用sqlalchemy的另一个好处是，如果您决定将来使用另一个功能更强大的数据库，您可以在不更改代码的情况下这样做。

Answer 2

在SQLite等库中使用数据库。有Python和Ruby个版本。

将CSV加载到表中，可能还有模块/库可以帮助您。然后SQL离开。

Answer 3

看看Perl和Text :: CSV和DBI？ CPAN上有许多模块可以做到这一点。以下是一个示例（来自HERE）：

#!/usr/bin/perl
use strict;
use warnings;
use DBI;

# Connect to the database, (the directory containing our csv file(s))

my $dbh = DBI->connect("DBI:CSV:f_dir=.;csv_eol=\n;");

# Associate our csv file with the table name 'prospects'

$dbh->{'csv_tables'}->{'prospects'} = { 'file' => 'prospects.csv'};

# Output the name and contact field from each row

my $sth = $dbh->prepare("SELECT * FROM prospects WHERE name LIKE 'G%'");
$sth->execute();
while (my $row = $sth->fetchrow_hashref) {
     print("name = ", $row->{'Name'}, "  contact = ", $row->{'Contact'}. "\n");
}
$sth->finish();

name = Glenhuntly Pharmacy  contact = Paul
name = Gilmour's Shoes  contact = Ringo

只需在命令提示符下输入perldoc DBI和perldoc Text :: CSV即可获得更多信息。

Answer 4

CSV文件不是数据库 - 它们没有索引 - 并且你对它们施加的任何SQL模拟只比一遍又一遍地搜索整个事物要多。

Answer 5

您可以使用任一脚本语言来解析CSV文件并将数据存储到SQLite，这只是使用单个文件进行存储。从那里你可以在一个数据库中运行它，并可以对它运行查询。

或者，在Windows上，您可以将ODBC数据源设置为CSV文件。但这可能很难实现自动化。

Answer 6

我使用了nosklo的解决方案（谢谢！）但是我已经在列行（csv的第一行）中有一个主键（以pk_col传入）。所以我想我会分享我的修改。我使用了三元组。

table = Table(tablename, metadata,
    *((Column(pk_col, Integer, primary_key=True)) if rowname == pk_col else (Column(rowname, String())) for rowname in row.keys()))
table.create()

Answer 7

如果您正在构建Web应用程序，PHP FlatfileDB可用here是一个非常好的选择

使用脚本语言即时数据库

7 个答案: