我正在尝试编写一个函数来检查.csv文件中的所有定界符是否为“;”。我的尝试是使用csv.Sniffer()
:
import csv
def check_data_validity(file):
sniffer=csv.Sniffer()
dialect = sniffer.sniff(file)
if dialect.delimiter != ';':
return False
无论文件如何,我总是得到“ False”。我想可以通过读取每一行并检查分隔符是什么来做到这一点,但是对于庞大的文件,我发现这很艰巨。
原始格式的文件示例为:
timestamp_1;timestamp_2;Value_1;Value_2;Value_3;Result
1509494402000;2017-11-01T00:00:02Z;292.05;;26.89;0.0;;;
1509494410000;2017-11-01T00:00:10Z;6.0;;4.0;1.0;;;
1509494412000;2017-11-01T00:00:12Z;29.23;;4.0;0.0
答案 0 :(得分:0)
您可以使用嗅探器检查是否引发了错误。
{
"activity": {
"name": "MyActivity",
"description": "MyActivity description",
"type": "DatabricksSparkPython",
"linkedServiceName": {
"referenceName": "MyDatabricksLinkedservice",
"type": "LinkedServiceReference"
},
"typeProperties": {
"pythonFile": "dbfs:/docs/pi.py",
"parameters": [
"10"
],
"libraries": [
{
"pypi": {
"package": "tensorflow"
}
}
]
}
}
}