我们可以像对面部和眼睛一样使用Haar分类器来检测眼睛的虹膜吗？

Question

我目前正在尝试检测给定图像中的虹膜和瞳孔。在网上看到的所有方法，先检测面部，再检测眼睛，然后使用阈值，霍夫变换和轮廓来最终检测出瞳孔。

如果我们已经有大量的学生数据集，我们是否不能像面部和眼睛一样训练Haar分类器来检测眼睛的虹膜？有什么理由不可行吗？

目前，我有一个使用非基于Haar的方法的部分工作解决方案。

一种工作代码示例

import math 
import cv2 

eye_cascade = cv2.CascadeClassifier('./cascade_files/haarcascade_eye.xml')

if eye_cascade.empty():
  raise IOError('Unable to load the eye cascade classifier xml file')

cap = cv2.VideoCapture(0)
ds_factor = 0.5
ret, frame = cap.read()
contours = []

while True: 
  ret, frame = cap.read() 
  frame = cv2.resize(frame, None, fx=ds_factor, fy=ds_factor, interpolation=cv2.INTER_AREA)
  gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
  eyes = eye_cascade.detectMultiScale(gray, scaleFactor=1.3, minNeighbors=1)
  for (x_eye, y_eye, w_eye, h_eye) in eyes:
    pupil_frame = gray[y_eye:y_eye + h_eye, x_eye:x_eye + w_eye]
    ret, thresh = cv2.threshold(pupil_frame, 80, 255, cv2.THRESH_BINARY)
    cv2.imshow("threshold", thresh)
    im2, contours, hierarchy = cv2.findContours(thresh, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
    print(contours)

    for contour in contours:
      area = cv2.contourArea(contour)
      rect = cv2.boundingRect(contour)
      x, y, w, h = rect
      radius = 0.15 * (w + h)

      area_condition = (100 <= area <= 200)
      symmetry_condition = (abs(1 - float(w)/float(h)) <= 0.2)
      fill_condition = (abs(1 - (area / (math.pi * math.pow(radius, 2.0)))) <= 0.4)
      cv2.circle(frame, (int(x_eye + x + radius), int(y_eye + y + radius)), int(1.3 * radius), (0, 180, 0), -1)

  cv2.imshow('Pupil Detector', frame)
  c = cv2.waitKey(1) 
  if c == 27: 
    break

cap.release() 
cv2.destroyAllWindows()

示例输出：

Answer 1

是的，您可以在Haar Cascade分类器上直接训练带有样本图像的瞳孔检测器。如果您不局限于高吞吐量的小型硬件，那么我建议您使用深度学习在同一数据集上进行训练，您会期望得到更好的结果。