监督机器学习预测到pyautogui

Question

我是机器学习的新手。

我正在制作智能手套以使用KNN分类器识别不同的手势。到目前为止，我已成功输入代码，并能够预测我输入的正确手势。

现在，我想使用包pyautogui将手势与一些实际功能连接起来以控制计算机

（即如果分类器将手势预测为手势“A”，我希望它是左击功能。）

但我不太确定这是否可能以及如何做到这一点。 我得到的预测类型是“numpy.ndarray”

Answer 1

您在KNN输出中获得的每个numpy数组都是唯一的。因此，您可以将所有数组输出映射到某些预定义的值 对于您想要的每个手势定义功能：

if gesture_1==True:
  pos=pyautogui.position() # to get the position tuple of the cursor
  pyautogui.click(pos[0],pos[1]) #to click at that left-position