选自hackster
作者：mjrobot
机器之心编译
本文介绍了如何在树莓派上，使用 opencv 和 python 完成人脸检测项目。该项目不仅描述了识别人脸所需要的具体步骤，同时还提供了很多扩展知识。此外，该项目并不需要读者了解详细的人脸识别理论知识，因此初学者也能轻松跟着步骤实现。
项目所需设备
硬件：
树莓派 3 model b；
树莓派摄像头模块（picam）。
语言和库：
opencv
python 3
步骤
本文主要讲述如何使用 picam 实现实时人脸识别，如下图所示：
本教程使用 opencv 完成，一个神奇的「开源计算机视觉库」，并主要关注树莓派（因此，操作系统是树莓派系统）和 python，但是我也在 mac 电脑上测试了代码，同样运行很好。opencv 具备很强的计算效率，且专门用于实时应用。因此，它非常适合使用摄像头的实时人脸识别。要创建完整的人脸识别项目，我们必须完成3个阶段：
1）人脸检测和数据收集；
2）训练识别器；
3）人脸识别。
如下图所示：
第1步：材料清单
主件：
树莓派 v3：283 rmb（淘宝）
500 万像素 1080p 传感器 ov5647 迷你摄像头模块：83 rmb（淘宝）
第2步：安装opencv 3包
我使用的是更新了最新版树莓派系统（stretch）的树莓派 v3，因此安装 opencv 的最佳方式是按照 adrian rosebrock 写的教程来进行：《raspbian stretch: install opencv 3 + python on your raspberry pi》。经过几次尝试后，我觉得adrian的教程最好，建议按照该教程一步步来安装。
完成上述教程之后，你应该安装好了 opencv 虚拟环境，可用于在树莓派设备上运行本次实验。
我们来到虚拟环境，确认 opencv 3 已经正确安装。
adrian 推荐在每次打开新的终端时都运行命令行「source」，以确保系统变量都得到正确设置。
source ~/.profile
然后，我们进入虚拟环境：
workon cv
如果你看到 (cv) 出现在提示符之前，那么你就进入了 cv 虚拟环境：
(cv) pi@raspberry:~$
adrian 希望大家注意 cv python 虚拟环境是完全独立的，且与 raspbian stretch 中包含的默认 python 版本彼此隔绝。因此，全局站点包目录中的任意 python 包对于 cv 虚拟环境而言都是不可用的。类似地，cv 站点包中的任意 python 包对于全局 python 包安装也都是不可用的。
现在，进入 python 解释器：
python
确认你正在运行3.5（或以上）版本。
在解释器内部（将出现>>>），导入 opencv 库：
importcv2
如果没有错误信息，则 opencv 已在你的 python 虚拟环境中正确安装。
你还可以检查已安装的 opencv 版本：
cv2.__version__
将会出现3.3.0（或未来有可能发布更高版本）。
上面的终端截图显示了以上步骤。
第3步：测试摄像头
在树莓派上安装 opencv 之后，我们测试一下，以确认摄像头正常运转。假设你已经在树莓派上安装了 picam。
在 ide 中输入下列 python 代码：
importnumpyasnp
importcv2
cap = cv2.videocapture(0)
cap.set(3,640)# set width
cap.set(4,480)# set height
while(true):
ret, frame = cap.read()
frame = cv2.flip(frame,-1)# flip camera vertically
gray = cv2.cvtcolor(frame, cv2.color_bgr2gray)
cv2.imshow('frame', frame)
cv2.imshow('gray', gray)
k = cv2.waitkey(30) &0xff
ifk ==27:# press 'esc' to quit
break
cap.release()
cv2.destroyallwindows()
上面的代码可捕捉picam生成的视频流，用bgr颜色和灰色模式展示。
注意：我按照组装方式垂直旋转了摄像头。如果你的情况并非如此，那么注释或删除「flip」命令行。
你还可以从我的 github 下载代码：。
如果不想创建自己的分类器，opencv 也包含很多预训练分类器，可用于人脸、眼睛、笑容等的检测。相关的 xml 文件可从该目录下载：https://github/itseez/opencv/tree/master/data/haarcascades。
下面，我们就开始用 opencv 创建人脸检测器吧！
从我的 github 下载文件 facedetection.py：https://github/mjrovai/opencv-face-recognition/blob/master/facedetection/facedetection.py。
importnumpyasnp
importcv2
facecascade = cv2.cascadeclassifier('cascades/haarcascade_frontalface_default.xml')
cap = cv2.videocapture(0)
cap.set(3,640)# set width
cap.set(4,480)# set height
whiletrue:
ret, img = cap.read()
img = cv2.flip(img,-1)
gray = cv2.cvtcolor(img, cv2.color_bgr2gray)
faces = facecascade.detectmultiscale(
gray,
scalefactor=1.2,
minneighbors=5,
minsize=(20,20)
)
for(x,y,w,h)infaces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
cv2.imshow('video',img)
k = cv2.waitkey(30) &0xff
ifk ==27:# press 'esc' to quit
break
cap.release()
cv2.destroyallwindows()
使用 python 和 opencv 执行人脸检测，上面的几行代码就足够了。注意下面的代码：
facecascade = cv2.cascadeclassifier('cascades/haarcascade_frontalface_default.xml')
这行代码可以加载「分类器」（必须在项目文件夹下面的 cascades/目录中）。然后，我们在在循环内部调用摄像头，并以 grayscale 模式加载我们的输入视频。现在，我们必须调用分类器函数，向其输入一些非常重要的参数，如比例因子、邻近数和人脸检测的最小尺寸。
faces = facecascade.detectmultiscale(
gray,
scalefactor=1.2,
minneighbors=5,
minsize=(20,20)
)
其中：
gray 表示输入 grayscale 图像。
scalefactor 表示每个图像缩减的比例大小。
minneighbors 表示每个备选矩形框具备的邻近数量。数字越大，假正类越少。
minsize 表示人脸识别的最小矩形大小。
该函数将检测图像中的人脸。接下来，我们必须「标记」图像中的人脸，比如，用蓝色矩形。使用下列代码完成这一步：
for(x,y,w,h)infaces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
如果已经标记好人脸，则函数将检测到的人脸的位置返回为一个矩形，左上角 (x,y)，w 表示宽度，h 表示高度 ==>(x,y,w,h)。详见下图。
得到这些位置信息后，我们可以为人脸创建一个「感兴趣区域」（绘制矩形），用 imshow() 函数呈现结果。使用树莓派终端，在你的 python 环境中运行上面的 python 脚本：
python facedetection.py
结果如下：
你也可以加入诸如「眼睛检测」甚至「微笑检测」这样的检测器。在那些用例中，你需要把分类器函数和矩形框内加入原有的面部识别区域中，因为在区域外进行识别没有意义。
注意，在树莓派上，分类方法（haarcascades）会消耗大量算力，所以在同一代码中使用多个分类器将会显著减慢处理速度。在台式机上运行这些算法则非常容易。
在我的 github上你可以看到另外的例子：
faceeyedetection.py
facesmiledetection.py
facesmileeyedetection.py
在下图中，你可以看到我们的结果：
要想深入理解面部识别，可以参考这一教程：https://pythonprogramming/haar-cascade-face-eye-detection-python-opencv-tutorial/
第5步：收集数据
我推荐各位读者可以查看以下两个关于人脸识别的教程：
使用 opencv 和 python 从头实现人脸识别：https://superdatascience/opencv-face-recognition/
理解人脸识别：https://thecodacus/category/opencv/face-recognition/
现在，我们项目的第一步是创建一个简单的数据集，该数据集将储存每张人脸的 id 和一组用于人脸检测的灰度图。
因此，以下命令行将为我们的项目创建一个目录，目录名可以如以下为 facialrecognitionproject 或其它：
mkdir facialrecognitionproject
在该目录中，除了我们为项目创建的 3 个 python 脚本外，我们还需要储存人脸分类器。我们可以从 github 中下载：haarcascade_frontalface_default.xml。
下一步需要创建一个子目录「dtatset」，并用它来储存人脸样本：
mkdir dataset
然后从我的 github 中下载代码 01_face_dataset.py。
importcv2
importos
cam = cv2.videocapture(0)
cam.set(3,640)# set video width
cam.set(4,480)# set video height
face_detector = cv2.cascadeclassifier('haarcascade_frontalface_default.xml')
# for each person, enter one numeric face id
face_id = input('\n enter user id end press ==>')
print(\n [info] initializing face capture. look the camera and wait ...)
# initialize inpidual sampling face count
count =0
while(true):
ret, img = cam.read()
img = cv2.flip(img,-1)# flip video image vertically
gray = cv2.cvtcolor(img, cv2.color_bgr2gray)
faces = face_detector.detectmultiscale(gray,1.3,5)
for(x,y,w,h)infaces:
cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0),2)
count +=1
# save the captured image into the datasets folder
cv2.imwrite(dataset/user.+ str(face_id) +'.'+ str(count) +.jpg, gray[y:y+h,x:x+w])
cv2.imshow('image', img)
k = cv2.waitkey(100) &0xff# press 'esc' for exiting video
ifk ==27:
break
elifcount >=30:# take 30 face sample and stop video
break
# do a bit of cleanup
print(\n [info] exiting program and cleanup stuff)
cam.release()
cv2.destroyallwindows()
上述的代码和人脸识别的代码非常像，我们只是添加了一个「input command」来捕捉用户 id（整数）。
face_id = input('\n enter user id end press ==>')
对于每一个捕捉的帧，我们应该在「dataset」目录中保存为文档：
cv2.imwrite(dataset/user.+ str(face_id) +'.'+ str(count) +.jpg, gray[y:y+h,x:x+w])
对于保存上述文件，我们需要导入「os」库，每一个文件的名字都服从以下结构：
user.face_id.count.jpg
例如，对于 face_id = 1 的用户，dataset/ 目录下的第四个样本文件名可能为：
user.1.4.jpg
在我的树莓派中，该图像可以打开为：
在我的代码中，我从每一个 id 捕捉 30 个样本，我们能在最后一个条件语句中修改抽取的样本数。如果我们希望识别新的用户或修改已存在用户的相片，我们就必须以上脚本。
第六步：训练
在第二阶段中，我们需要从数据集中抽取所有的用户数据，并训练 opencv 识别器，这一过程可由特定的 opencv 函数直接完成。这一步将在「trainer/」目录中保存为.yml 文件。
所以，下面开始创建子目录以储存训练数据：
mkdir trainer
从我的 github 中下载第二个 python 脚本：02_face_training.py。
importcv2
importnumpyasnp
frompilimportimage
importos
# path for face image database
path ='dataset'
recognizer = cv2.face.lbphfacerecognizer_create()
detector = cv2.cascadeclassifier(haarcascade_frontalface_default.xml);
# function to get the images and label data
defgetimagesandlabels(path):
imagepaths = [os.path.join(path,f)forfinos.listdir(path)]
facesamples=[]
ids = []
forimagepathinimagepaths:
pil_img = image.open(imagepath).convert('l')# convert it to grayscale
img_numpy = np.array(pil_img,'uint8')
id = int(os.path.split(imagepath)[-1].split(.)[1])
faces = detector.detectmultiscale(img_numpy)
for(x,y,w,h)infaces:
facesamples.append(img_numpy[y:y+h,x:x+w])
ids.append(id)
returnfacesamples,ids
print(\n [info] training faces. it will take a few seconds. wait ...)
faces,ids = getimagesandlabels(path)
recognizer.train(faces, np.array(ids))
# save the model into trainer/trainer.yml
recognizer.write('trainer/trainer.yml')# recognizer.save() worked on mac, but not on pi
# print the numer of faces trained and end program
print(\n [info] {0} faces trained. exiting program.format(len(np.unique(ids))))
确定在 rpi 中已经安装了 pil 库，如果没有的话，在终端运行以下命令：
pip install pillow
我们将使用 lbph（local binary patterns histograms）人脸识别器，它由 opencv 提供：
recognizer = cv2.face.lbphfacerecognizer_create()
函数「getimagesandlabels (path)」将抽取所有在目录「dataset/」中的照片，并返回 2 个数组：「ids」和「faces」。通过将这些数组作为�...