如何在大型文本文件中拆分组合列表?

时间:2018-11-29 22:55:26

标签: python mysql phpmyadmin large-data large-files

我的问题是我有一个非常庞大的电子邮件和密码数据库,需要将其发送到mysql数据库。

.txt文件格式如下:

emailnumberone@gmail.com:password1
emailnumbertwo@gmail.com:password2
emailnumberthree@gmail.com:password3
emailnumberfour@gmail.com:password4
emailnumberfive@gmail.com:password5

我的想法是制作一个循环,将行作为变量,搜索“:”并在前面选择文本,将其发送到db,然后与行的后半部分相同。我该怎么做?

3 个答案:

答案 0 :(得分:1)

这可以通过python中字符串的简单split()方法来完成。

>>> a = 'emailnumberone@gmail.com:password1'
>>> b = a.split(':')
>>> b
['emailnumberone@gmail.com', 'password1']

要使@PatrickArtner的复杂密码失败,可​​以这样做:

atLocation = a.find('@')
realSeperator = atLocation + a[atLocation:].find(':')
emailName = a[0:atLocation]
emailDomain = a[atLocation:realSeperator]
email = emailName + emailDomain
password = a[realSeperator + 1:]

print(email, password)

>>> emailnumberone@gmail.com com:plex:PassWord:fail

str.find()返回给定字符串中给定字符的第一个出现位置。电子邮件的名称字段中可以包含:,但不能包含@。因此,首先找到@,然后再找到:,将为您提供正确的分隔位置。在那之后,分割字符串将是小菜一碟。

答案 1 :(得分:1)

具有某些错误处理的简短程序:

创建演示数据文件:

t = """
emailnumberone@gmail.com:password1
emailnumbertwo@gmail.com:password2
emailnumberthree@gmail.com:password3
emailnumberfour@gmail.com:password4
emailnumberfive@gmail.com:password5
k
: """

with open("f.txt","w") as f: f.write(t)

解析数据/存储:

def store_in_db(email,pw):
    # replace with db access code 
    # see    http://bobby-tables.com/python
    # for parametrized db code in python (or the API of your choice)
    print("stored: ", email, pw)


with open("f.txt") as r:
    for line in r:
        if line.strip():  # weed out empty lines
            try:
                email, pw = line.split(":",1) # even if : in pw: only split at 1st :
                if email.strip() and pw.strip(): # only if both filled
                    store_in_db(email,pw)
                else:
                    raise ValueError("Something is empty: '"+line+"'")

            except Exception as ex:
                print("Error: ", line, ex)

输出:

stored:  emailnumberone@gmail.com password1

stored:  emailnumbertwo@gmail.com password2

stored:  emailnumberthree@gmail.com password3

stored:  emailnumberfour@gmail.com password4

stored:  emailnumberfive@gmail.com password5

Error:  k
 not enough values to unpack (expected 2, got 1)
Error:  :  Something is empty: ': '

编辑:根据What characters are allowed in an email address?-如果引用':'可能是电子邮件的第一部分。

理论上,这将允许输入

`"Cool:Emailadress@google.com:coolish_password"` 

这将导致此代码错误。请参阅Talip Tolga Sans answer,以了解如何以不同方式分解拆分以避免此问题。

答案 2 :(得分:-1)

作为上下文管理器打开文件(使用open(...)),您可以使用for循环遍历各行,然后进行正则表达式匹配(re Module)(或仅拆分为“:”)并使用sqlite3插入您对DB的价值观。

因此文件:

with open("file.txt", "r") as f:
    for line in f:
        pass #manipulation

Sqlite3文档:https://docs.python.org/2/library/sqlite3.html