使用pipes-csv解析Latin-1编码的内容?

时间:2016-02-06 23:05:19

标签: csv haskell haskell-pipes

我想使用pipes-csv来解析一些大型CSV文件,但事实证明这些CSV文件是Latin-1编码的,而且pipes-csv和{{1}它依赖的库,假设UTF-8。这最终会产生我需要处理的解析错误。

我接触它的方法是复制将保存CSV数据的记录,以便所有cassava字段都是Text字段。我解码成dup,然后手动将Latin-1字符串翻译成UTF-8并创建最终记录。至少可以说是不够优雅的。

有更好的方法吗?

根据丹尼尔的建议,这是我到目前为止所做的:

ByteString

它为不必要的文本重新编码换掉了不必要的记录,但这是一种改进。如果不做这些不必要的事情,我不认为有办法做到这一点吗?

0 个答案:

没有答案