两侧的唯一钥匙？也避免（1,2）（2,1）

Question

我有一个表对话，我希望每对用户只有一个对话：

to-from

如果我有用户1（发给）和用户2（发自），我也不想同时允许用户2（发给）和用户1（发自）。

我有唯一的密钥：

UNIQUE KEY (`to`, `from`),

但是它仅在一侧（1,2）起作用，如果我有（2,1），它也会插入。

有什么想法如何使双方都具有唯一性？