如何删除所有非字母数字字符（单词的一部分除外）

Question

给出以下多行字符串：

One, 123
three 'four'    can't

我需要结束：

One 123 three four can't

简而言之；我想匹配can't

中除撇号以外的所有非字母和非数字

使用(?<=[a-z])'(?=[a-z])，我在can't中得到了一个撇号匹配项，因此可以将其取反（？）

使用[^a-z0-9]+，我得到一个匹配的字符，最后我只想用一个简单的空格替换，但这也与can't中的撇号匹配。

我怎样才能实现两个目标？是否匹配所有非数字字符，除了单词中的撇号？

P.S。我正在用Python做到这一点