在Python中基于分隔符验证.csv文件

时间:2018-09-11 07:29:53

标签: python csv validation separator sniffer

我正在尝试编写一个函数来检查.csv文件中的所有定界符是否为“;”。我的尝试是使用csv.Sniffer()

import csv
def check_data_validity(file):
    sniffer=csv.Sniffer()
    dialect = sniffer.sniff(file)
    if dialect.delimiter != ';':
        return False

无论文件如何,我总是得到“ False”。我想可以通过读取每一行并检查分隔符是什么来做到这一点,但是对于庞大的文件,我发现这很艰巨。

原始格式的文件示例为:

timestamp_1;timestamp_2;Value_1;Value_2;Value_3;Result
1509494402000;2017-11-01T00:00:02Z;292.05;;26.89;0.0;;;
1509494410000;2017-11-01T00:00:10Z;6.0;;4.0;1.0;;;
1509494412000;2017-11-01T00:00:12Z;29.23;;4.0;0.0

1 个答案:

答案 0 :(得分:0)

您可以使用嗅探器检查是否引发了错误。

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksSparkPython",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
             "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "pythonFile": "dbfs:/docs/pi.py",
            "parameters": [
                "10"
            ],
            "libraries": [
                {
                    "pypi": {
                        "package": "tensorflow"
                    }
                }
            ]
        }
    }
}