Question

我将一组约200个.xlsx文件转换为.csv，每个文件都有多个工作表。 in2csv允许使用-s开关提取一张工作表，但首先我需要从命令行获取.xlsx电子表格中所有工作表的名称。

我已经尝试使用python的xlrd软件包，但是单个文件> 100MB需要花费几分钟的时间，因为它需要加载整个工作簿才能读取工作表包装器。

我知道gnumeric ssconvert（-S开关可以解决问题），但宁愿不为一个功能安装600MB软件包。

是否可以在不加载整个电子表格/工作簿的情况下提取工作表名称？如果没有，如何分别转换每个工作表并将其输出到单独的输出文件？

到目前为止，下面是我的解决方案，首先是bash脚本查找所有未转换的文件，其次是python脚本以提取工作表名称。

#!/bin/bash

# Paths
RAW_DATA_DIR_EBS=/mnt/data/shared/raw
CSV_DATA_DIR_EBS=/mnt/data/shared/csv
ETL_CONVERT_DIR=$(pwd)/$(dirname "$0")

function check_conversion {
    # If filesize = 0 bytes, exit with error
    filesize=$(wc -b $1)
    if [ $filesize == 0 ]; then
        echo "ERROR: conversion failed. Empty output file: $1"
        exit 1
    fi;
}

# For each data source directory
for source in $RAW_DATA_DIR_EBS/; do
    dir=$(basename $source)    

    # Create output dir if absent
    mkdir -p $CSV_DATA_DIR_EBS/$dir

    # For each file for that source
    for fin in $RAW_DATA_DIR_EBS/$dir/*.xlsx; do

        # Get sheet names and store in array
        echo "Obtaining worksheet names from $fin"
        sheets=$(python $ETL_CONVERT_DIR/check_sheet_names.py -x $fin | tr -d '[]' | tr -d [:punct:])
        IFS="," read -r -a sheets_array <<< "$sheets"   

        if [ ${#sheets_array[@]} == 1 ]; then

            # Just one sheet
            fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx).csv
            if [ ! -e $fout ]; then
                echo "Converting worksheet in $fin ..."
                in2csv -e utf-8 $fin > $fout;
                check_conversion $fout
                gzip $fout
            else
                echo "Spreadsheet $fin already converted:" $fout;
            fi;

        else

            # Multiple sheets
            for sheet in $sheets; do
                fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx)__sheet_"${sheet}".csv
                if [ ! -e $fout ]; then
                    echo "Converting worksheet $sheet in $fin ..."
                    in2csv -e utf-8 --sheet $sheet $fin > $fout;
                    check_conversion $fout;
                    gzip $fout
                else
                    echo "Spreadsheet $fin already converted:" $fout
                fi;
            done;
        fi;
    done;

done;
exit 0

#!/usr/bin/env python
''' check_sheet_names.py

Get names of worksheets contained in an .xlsx spreadsheet
'''

import xlrd
import argparse

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='CLI')
    parser.add_argument('--xlsx', '-x', type=str, required=True)
    args = parser.parse_args()

    xls = xlrd.open_workbook(args.xlsx, on_demand=True)
    print(xls.sheet_names())
    xls.release_resources()
    del xls

Answer 1

-n标志将在xlsx文档中提供不同工作表的名称。

in2csv -n filename.xlsx

从.xlsx电子表格中高效提取工作表名称

1 个答案: