Question

我尝试将一组大型（> 500MB）csv文件中的前5行打印成小标题，以便更轻松地检查内容。

我正在使用Ruby代码执行此操作，但是每行使用额外的中文字符填充，如下所示：

 week_num   type    ID  location    total_qty   A_qty   B_qty   count਍㌀㐀ऀ猀漀爀琀愀戀氀攀ऀ㄀㤀㜀ऀ䐀䔀开伀渀氀礀ऀ㔀㐀㜀㈀　㌀ऀ㔀㐀㜀㈀　㌀ऀ　ऀ㤀㄀㈀㔀㌀ഀ
 44 small   14  A   907859  907859  0   550360਍㐀㄀ऀ猀漀爀琀愀戀氀攀ऀ㐀㈀㄀ऀ䐀䔀开伀渀氀礀ऀ㌀　㈀㄀㜀㐀ऀ㌀　㈀㄀

输入文件的前几行是这样的：

 week_num   type    ID  location    total_qty   A_qty   B_qty   count
 34 small   197 A   547203  547203  0   91253
 44 small   14  A   907859  907859  0   550360
 41 small   421 A   302174  302174  0   18198

奇怪的字符似乎是数据的第1行和第3行。

这是我的Ruby代码：

num_lines=ARGV[0]  
fh = File.open(file_in,"r")
fw = File.open(file_out,"w")
until (line=fh.gets).nil? or num_lines==0
    fw.puts line if outflag
    num_lines = num_lines-1
end

知道发生了什么以及我可以做些什么来简单地停在线端角色？

以十六进制查看输入/输出文件（@ user1934428的有用建议）

输入文件 - 每个字符看起来都是两个字节。

输出文件 - 注意每个单字节字符之间的NULL（00）...

Ruby版本1.9.1

Answer 1

问题是编码不匹配正在发生，因为编码没有在代码的读写部分中明确指定。使用"rb"编码将输入csv读取为二进制文件utf-16le。以相同的格式写出输出。

num_lines=ARGV[0]  

# ****** Specifying the right encodings  <<<< this is the key
fh = File.open(file_in,"rb:utf-16le")
fw = File.open(file_out,"wb:utf-16le")

until (line=fh.gets).nil? or num_lines==0
    fw.puts line
    num_lines = num_lines-1
end

有用的参考资料：

使用Ruby读取/写入CSV

1 个答案: