在不带引号的字段错误中看到的CSV换行符

时间:2013-06-26 08:56:14

标签: python django csv

以下代码一直有效,直到今天我从Windows机器导入并出现此错误:

在不带引号的字段中看到的新行字符 - 您是否需要以通用换行模式打开文件?

import csv

class CSV:


    def __init__(self, file=None):
        self.file = file

    def read_file(self):
        data = []
        file_read = csv.reader(self.file)
        for row in file_read:
            data.append(row)
        return data

    def get_row_count(self):
        return len(self.read_file())

    def get_column_count(self):
        new_data = self.read_file()
        return len(new_data[0])

    def get_data(self, rows=1):
        data = self.read_file()

        return data[:rows]

如何解决此问题?

def upload_configurator(request, id=None):
    """
    A view that allows the user to configurator the uploaded CSV.
    """
    upload = Upload.objects.get(id=id)
    csvobject = CSV(upload.filepath)

    upload.num_records = csvobject.get_row_count()
    upload.num_columns = csvobject.get_column_count()
    upload.save()

    form = ConfiguratorForm()

    row_count = csvobject.get_row_count()
    colum_count = csvobject.get_column_count()
    first_row = csvobject.get_data(rows=1)
    first_two_rows = csvobject.get_data(rows=5)

9 个答案:

答案 0 :(得分:176)

很高兴看到csv文件本身,但这可能对你有用,试一试,替换:

file_read = csv.reader(self.file)

使用:

file_read = csv.reader(self.file, dialect=csv.excel_tab)

或者,打开包含universal newline mode的文件并将其传递给csv.reader,例如:

reader = csv.reader(open(self.file, 'rU'), dialect=csv.excel_tab)

或者,使用splitlines(),如下所示:

def read_file(self):
    with open(self.file, 'r') as f:
        data = [row for row in csv.reader(f.read().splitlines())]
    return data

答案 1 :(得分:49)

我意识到这是一个很老的帖子,但我遇到了同样的问题而没有看到正确答案,所以我会试一试

Python错误:

_csv.Error: new-line character seen in unquoted field

尝试读取Macintosh(OS X格式前)CSV文件。这些是使用CR作为行尾的文本文件。如果使用MS Office,请确保选择纯 CSV 格式或 CSV(MS-DOS)请勿使用CSV(Macintosh)作为保存类型。

我首选的EOL版本是LF(Unix / Linux / Apple),但我不认为MS Office提供了以这种格式保存的选项。

答案 2 :(得分:31)

对于Mac OS X,请将CSV文件保存为“Windows逗号分隔(.csv)”格式。

答案 3 :(得分:18)

如果您在Mac上发生了这种情况(就像它对我做的那样):

  1. 将文件另存为CSV (MS-DOS Comma-Separated)
  2. 运行以下脚本

    with open(csv_filename, 'rU') as csvfile:
        csvreader = csv.reader(csvfile)
        for row in csvreader:
            print ', '.join(row)
    

答案 4 :(得分:5)

尝试首先在Windows导入的文件上运行dos2unix

答案 5 :(得分:2)

这是我遇到的错误。我在MAC OSX中保存了.csv文件。

保存时,将其另存为“Windows逗号分隔值(.csv)”以解决此问题。

答案 6 :(得分:1)

这在OSX上对我有用。

# allow variable to opened as files
from io import StringIO

# library to map other strange (accented) characters back into UTF-8
from unidecode import unidecode

# cleanse input file with Windows formating to plain UTF-8 string
with open(filename, 'rb') as fID:
    uncleansedBytes = fID.read()
    # decode the file using the correct encoding scheme
    # (probably this old windows one) 
    uncleansedText = uncleansedBytes.decode('Windows-1252')

    # replace carriage-returns with new-lines
    cleansedText = uncleansedText.replace('\r', '\n')

    # map any other non UTF-8 characters into UTF-8
    asciiText = unidecode(cleansedText)

# read each line of the csv file and store as an array of dicts, 
# use first line as field names for each dict. 
reader = csv.DictReader(StringIO(cleansedText))
for line_entry in reader:
    # do something with your read data 

答案 7 :(得分:0)

我知道这个问题已经回答了很长时间,但是并不能解决我的问题。由于其他一些复杂性,我正在使用DictReader和StringIO进行csv读取。通过显式替换定界符,我能够更简单地解决问题:

with urllib.request.urlopen(q) as response:
    raw_data = response.read()
    encoding = response.info().get_content_charset('utf8') 
    data = raw_data.decode(encoding)
    if '\r\n' not in data:
        # proably a windows delimited thing...try to update it
        data = data.replace('\r', '\r\n')

对于庞大的CSV文件可能并不合理,但对于我的用例来说效果很好。

答案 8 :(得分:0)

另一种快速解决方案:我遇到了同样的错误。我在lubuntu机器上的GNUMERIC中重新打开了“奇怪的” csv文件,并将该文件导出为csv文件。这解决了问题。