我具有以下脚本,用于从CLI导入和导出随机TXT / CSV文件,所有传递的内容都必须是唯一的,并且在UTF-8中不区分大小写,我可以使用set变量来完成此操作吗?我对Python还是很陌生,因此欢迎提出任何评论或建议!
这是我当前的脚本;
import hashlib
import sys
if len(sys.argv) < 3:
print("Wrong parameter; script | inputfile | outputfile")
sys.exit(1)
output_file_path = (sys.argv[2])
input_file_path = (sys.argv[1])
completed_lines_hash = set()
output_file = open(output_file_path, "w")
for line in open(input_file_path, "r")
hashValue = hashlib.md5(line.rstrip().encode('utf-8')).hexdigest()
if hashValue not in completed_lines_hash:
output_file.write(line)
completed_lines_hash.add(hashValue)
output_file.close()