我想使用pipes-csv
来解析一些大型CSV文件,但事实证明这些CSV文件是Latin-1编码的,而且pipes-csv
和{{1}它依赖的库,假设UTF-8。这最终会产生我需要处理的解析错误。
我接触它的方法是复制将保存CSV数据的记录,以便所有cassava
字段都是Text
字段。我解码成dup,然后手动将Latin-1字符串翻译成UTF-8并创建最终记录。至少可以说是不够优雅的。
有更好的方法吗?
根据丹尼尔的建议,这是我到目前为止所做的:
ByteString
它为不必要的文本重新编码换掉了不必要的记录,但这是一种改进。如果不做这些不必要的事情,我不认为有办法做到这一点吗?