如何在scrapy中处理未转义的单引号?

时间:2014-04-23 12:25:22

标签: python mysql scrapy

def process_item(self, item, spider):
    try:
        if 'BristolQualification' in item:
            self.cursor.execute("""INSERT INTO Bristol(BristolCountry, BristolQualification) VALUES ('{0}', '{1}')""".format(item['BristolCountry'], "".join([s.encode('utf8') for s in item['BristolQualification']])))
        elif 'BathQualification' in item:
            self.cursor.execute("""INSERT INTO Bath(BathCountry, BathQualification) VALUES ('{0}', '{1}')""".format(item['BathCountry'], "".join([s.encode('utf8') for s in item['BathQualification']])))
        self.conn.commit()
    return item

    except MySQLdb.Error as e:
        print "Error %d: %s" % (e.args[0], e.args[1])

我的管道中有这个代码,它有效,但它会跳过大约15%的结果并且不会将它们提取到我的数据库中,我相信它是由于未转义的单引号,例如(d'练习曲)在下面的片段中。

  

持有合适成绩的Dipl \ xf4me de Technicien Sup \ xe9rieur / Sciences Appliqu \ xe9es的候选人或具有合适科目成绩良好的Dipl \ xf4me d' Etudes Universitaires G \ x9N \ xe9rales(DEUG)的候选人将考虑适当的本科课程。

谁能想到如何处理它们?

0 个答案:

没有答案