如何使用Vim删除表情符号和特殊字符？

Question

我有一个大型文本文档1Gig +，我正在尝试将数据导入MYSQL数据库。现在我完成整个过程，收到以下错误

OperationalError: (1366, "Incorrect string value: '\\xF0\\x9F\\x91\\xBD T...' for column 'copyright' at row 24")

现在从我可以收集的内容中，这是一个存在于值中的表情符号。由于文件大小太大，我使用VIM实际打开文档进行编辑，但问题是当我搜索上述值时，我无法在文本文档中的任何位置找到它们。

我做错了什么还是有更好的方法？

由于

Answer 1

你可以用sed

来做到这一点

示例会将您的代码更改为： - ）

sed 's/\\\\xF0\\\\x9F\\\\x91\\\\xBD/:-)/g' yourfile.txt > newfile.txt

这将改变所有4个字节代码

sed 's/\\\\x[0-9A-F][0-9A-F]\\\\x[0-9A-F][0-9A-F]\\\\x[0-9A-F][0-9A-F]\\\\x[0-9A-F][0-9A-F]/:-)/g' x.txt