如何处理以'\ u2014＆＃39;在pyspark

Question

我正在pyspark开展文字操作练习。我首先将我读过的文章拆分成单词并注意到特殊字符被引入\u2014而不是撇号。

在Pyspark中最有效的方法是什么？

我打算用这个问题删除任何字词，但我不认为这是最有效的解决方案。