Question

我有一个有点大的.xlsx文件--19列，5185行。我想打开文件，读取一列中的所有值，对这些值执行一些操作，然后在同一工作簿中创建一个新列并写出修改后的值。因此，我需要能够在同一个文件中进行读写。

我的原始代码执行了此操作：

def readExcel(doc):
    wb = load_workbook(generalpath + exppath + doc)
    ws = wb["Sheet1"]

    # iterate through the columns to find the correct one
    for col in ws.iter_cols(min_row=1, max_row=1):
        for mycell in col:
            if mycell.value == "PerceivedSound.RESP":
                origCol = mycell.column

    # get the column letter for the first empty column to output the new values
    newCol = utils.get_column_letter(ws.max_column+1)

    # iterate through the rows to get the value from the original column,
    # do something to that value, and output it in the new column
    for myrow in range(2, ws.max_row+1):
        myrow = str(myrow)
        # do some stuff to make the new value
        cleanedResp = doStuff(ws[origCol + myrow].value)
        ws[newCol + myrow] = cleanedResp

    wb.save(doc)

然而，python在第3853行之后抛出了内存错误，因为工作簿太大了。 openpyxl文档说使用只读模式（https://openpyxl.readthedocs.io/en/latest/optimized.html）来处理大型工作簿。我现在正试图用它;但是，当我添加read_only = True参数时似乎没有办法遍历列：

def readExcel(doc):
    wb = load_workbook(generalpath + exppath + doc, read_only=True)
    ws = wb["Sheet1"]

    for col in ws.iter_cols(min_row=1, max_row=1):
        #etc.

python抛出此错误： 属性错误：＆＃39; ReadOnlyWorksheet＆＃39;对象没有属性＆＃39; iter_cols＆＃39;

如果我将上述代码段中的最后一行更改为：

for col in ws.columns:

python抛出同样的错误： 属性错误：＆＃39; ReadOnlyWorksheet＆＃39;对象没有属性＆＃39;列＆＃39;

迭代行很好（并且包含在我上面链接的文档中）：

for col in ws.rows:

（无错误）

This question询问AttritubeError，但解决方法是删除只读模式，这对我不起作用，因为openpyxl不会以非只读模式读取我的整个工作簿。

那么：我如何遍历大型工作簿中的列？

我还没遇到过这个问题，但是我可以在列中进行迭代：如果所说的工作簿很大，我如何读写同一个工作簿呢？

谢谢！

Answer 1

如果工作表只有大约100,000个单元格，那么您不应该有任何内存问题。您可能应该进一步调查此事。

iter_cols()在只读模式下不可用，因为它需要对基础XML文件进行常量且非常低效的重新分析。但是，使用iter_rows()将行转换为zip的列相对容易。

def _iter_cols(self, min_col=None, max_col=None, min_row=None,
               max_row=None, values_only=False):
    yield from zip(*self.iter_rows(
        min_row=min_row, max_row=max_row,
        min_col=min_col, max_col=max_col, values_only=values_only))

import types
for sheet in workbook:
    sheet.iter_cols = types.MethodType(_iter_cols, sheet)

Answer 2

根据documentation，ReadOnly模式仅支持基于行的读取（未实现列读取）。但这并不难解决：

wb2 = Workbook(write_only=True)
ws2 = wb2.create_sheet()

# find what column I need
colcounter = 0
for row in ws.rows:
    for cell in row:
        if cell.value == "PerceivedSound.RESP":
            break
        colcounter += 1

    # cells are apparently linked to the parent workbook meta
    # this will retain only values; you'll need custom
    # row constructor if you want to retain more

    row2 = [cell.value for cell in row]
    ws2.append(row2) # preserve the first row in the new file

break

for row in ws.rows:
    row2 = [cell.value for cell in row]
    row2.append(doStuff(row2[colcounter]))
    ws2.append(row2) # write a new row to the new wb

wb2.save('newfile.xlsx')
wb.close()
wb2.close()

# copy `newfile.xlsx` to `generalpath + exppath + doc`
# Either using os.system,subprocess.popen, or shutil.copy2()

您将无法写入同一工作簿，但如上所示，您可以打开一个新工作簿（以writeonly模式），写入它，并使用操作系统副本覆盖旧文件。

在openpyxl中

2 个答案: