Python

ラズパイカメラとOpenCvを使って女優の顔認識してみた

スポンサーリンク

ラズパイで個人の顔を認識できたら、いろいろなことに使えそうじゃないですか?

OpenCvとラズパイ3B+を使って、押しの女優さんの顔を認識したいと思います。

著作権や肖像権の関係で画像は載せられませんが、あしからず…

Real-Time Face Recognition: An End-to-End Projectというサイトを参考に実装しました。

コードをコピペするだけで実装できるよう、概要はざっくり解説しています。

使用する機器

ラズパイ3B+

ラズパイカメラ

全体の流れ

参考サイトからの引用

大きく3つのステップで実装していきます。

  1. 顔認識の元となる画像データを集める(人にはそれぞれidをつける)
  2. 顔認識をするための識別機を作成
  3. 実際に顔認識を行う(ここでidを名前と紐づける)

準備すること

ライブラリのインストール

以下のライブラリをインストールします

sudo pip3 install opencv-python   #opencvのインストール
sudo pip3 install pillow          #pillow(PIL)のインストール(画像処理用のライブラリ)
sudo pip3 install numpy           #基本的な行列計算のためのライブラリです

ラズパイにはpython2系と3系が入っていますので,pip3コマンドを使用しましょう!

私の使用したバージョンは以下の通りです。

cv2.__version__     3.4.6
numpy.__version__   1.16.2
PIL.__version__     5.4.1

OpenCVのインストールがうまくいかない方はラズパイ OpenCVインストール方法 (カスケード分類器のダウンロードもします)を参考にしてみてください!

カスケード分類器のダウンロード

ラズパイ OpenCVインストール方法 (カスケード分類器のダウンロードもします)

にカスケード分類器ダウンロードの手順が詳しく書いてありますので参考にしてください。

今回は「haarcascades」フォルダの中の「haarcascade_frontalface_default.xml 」というファイルのみ使用しますので、これを「FacialRecognition」ディレクトリにコピペします。

詳しくは後述します。

カメラの接続確認

カメラをラズパイ3B+に接続したら、

ホーム画面設定RaspberryPiの設定

の順に進むと以下の画面が表示されます。カメラを有効にして、再起動しましょう

ターミナルで以下のコマンドを入力し、supported=1 detected=1と表示されればOKです。

ディレクトリ構造

$ tree
.
├── FacialRecognition
│   ├── datasets
│   │   ├── User.1.1.jpg
│   │   ├── User.1.2.jpg
│   │   ├── User.1.3.jpg
│   │   ├── User.1.4.jpg
│   │   :
│   │   (他の人を付け加えるならここに追加される)
│   │
│   └── trainer
│       └── trainer.yml
│
├── 01_face_dataset.py
├── 02_face_dataset.py
├── 03_face_dataset.py
└── haarcascade_frontalface_default.xml

「FacialRecognition」、「datasets」、「trainer」

の三つのディレクトリをまずは作成しましょう。下記の順番でターミナルに入力したら作成できます。

mkdir FacialRecognition
cd FacialRecognition
mkdir datasets
mkdir trainer

そして、先ほどダウンロードした「haarcascade_frontalface_default.xml」を親ディレクトリの「FacialRecognition」に入れておきましょう!

以上で前準備は終了です。あとはソースコードをマネするだけで実装できます。

ソースコード

各ソースコードの番号(01,02,03)は先ほどの手順(ステップ)に対応しています

コピペを前提としているので詳しい解説はしません

01_face_dataset.py

import cv2
import os
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video width
cam.set(4, 480) # set video height
face_detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
# For each person, enter one numeric face id
face_id = input('\n enter user id end press <return> ==>  ')
print("\n [INFO] Initializing face capture. Look the camera and wait ...")
# Initialize individual sampling face count
count = 0
while(True):
    ret, img = cam.read()
    img = cv2.flip(img, -1) # flip video image vertically
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = face_detector.detectMultiScale(gray, 1.3, 5)
    for (x,y,w,h) in faces:
        cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)     
        count += 1
        # Save the captured image into the datasets folder
        cv2.imwrite("datasets/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])
        cv2.imshow('image', img)
    k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video
    if k == 27:
        break
    elif count >= 30: # Take 30 face sample and stop video
         break
# Do a bit of cleanup
print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

画像を集めるステップです。

プログラムを動作させると、idの入力が求められます。その後、カメラで30枚の写真を撮影します。

User.face_id.count.jpg
#idを1と入力した場合
User.1.0.jpg

このようなファイル名で30枚の画像が、「datasetsディレクトリ」に保存されます。

保存されている画像は白黒で顔の部分が切り取られている状態になっています。

写真を30枚よりも増やしたい場合は、30の部分の数字を変えてください。

elif count >= 30: # Take 30 face sample and stop video

cv2.cvtColorに関するエラーが出た時の対策

sudo modprobe bcm2835-v4l2

FacialRecognitionディレクトリで上記のコマンドを入力してみてください。

02_face_dataset.py

import numpy as np
from PIL import Image
import os
import cv2
# Path for face image database
path = 'datasets'
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("haarcascade_frontalface_default.xml");
# function to get the images and label data
def getImagesAndLabels(path):
    imagePaths = [os.path.join(path,f) for f in os.listdir(path)]     
    faceSamples=[]
    ids = []
    for imagePath in imagePaths:
        PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
        img_numpy = np.array(PIL_img,'uint8')
        id = int(os.path.split(imagePath)[-1].split(".")[1])
        faces = detector.detectMultiScale(img_numpy)
        for (x,y,w,h) in faces:
            faceSamples.append(img_numpy[y:y+h,x:x+w])
            ids.append(id)
    return faceSamples,ids
print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))
# Save the model into trainer/trainer.yml
recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi
# Print the numer of faces trained and end program
print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids))))

顔認識をするための分類器を訓練するステップです。

ここはとてもシンプルで、上記のプログラムを実行するだけで「trainer.yml」ファイルが出来上がります。やることは以上です。

attribute error "face"というエラーが出た時の対策

色々試したのですが、最終的に以下のコマンドでエラーがなくなりました

sudo pip3 install opencv-contrib-python==3.4.6.27

ホームディレクトリで上記のコマンドを入力してみてください。

私が試した一覧も載せておきます

pip3 install opencv-contrib-python
pip3 install opencv-contrib-python --upgrade
pip3 install opencv-contrib-python --user
python3 -m pip install --user opencv-contrib-python

03_face_dataset.py

import cv2
import numpy as np
import os 
recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = "haarcascade_frontalface_default.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);
font = cv2.FONT_HERSHEY_SIMPLEX
#iniciate id counter
id = 0
# names related to ids: example ==> Marcelo: id=1,  etc
names = ['None', 'Name'] 
# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video widht
cam.set(4, 480) # set video height
# Define min window size to be recognized as a face
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)
while True:
    ret, img =cam.read()
    img = cv2.flip(img, -1) # Flip vertically
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
    faces = faceCascade.detectMultiScale( 
        gray,
        scaleFactor = 1.2,
        minNeighbors = 5,
        minSize = (int(minW), int(minH)),
       )
    for(x,y,w,h) in faces:
        cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
        id, confidence = recognizer.predict(gray[y:y+h,x:x+w])
        # Check if confidence is less them 100 ==> "0" is perfect match 
        if (confidence < 100):
            id = names[id]
            confidence = "  {0}%".format(round(100 - confidence))
        else:
            id = "unknown"
            confidence = "  {0}%".format(round(100 - confidence))
        
        cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
        cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)  
    
    cv2.imshow('camera',img) 
    k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
    if k == 27:
        break
# Do a bit of cleanup
print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

最後に、顔認識をするステップです。ここではこのコードにのみ注目してください。

names = ['None', 'Name'] 

このリストがidの番号と対応しています。

上の例でいうと、id=0→None、 id=1→Nameということになります。

もし人数を増やしたければidを増やして写真を撮り、このリストに名前を追加してください。

結果

左から、元画像、別画像、他人の画像という並びです。

  • 元の画像:64%
  • 別の画像:6~20%(写真によりunknownのものも)
  • 他の人の画像:unkown

このような結果になりました。(肖像権の関係もあるのでイメージ図で対応してます)

30枚しか使用していないのでこんなものかなと思います。画像を増やせば精度も上がりそうですね!

応用すれば簡単な防犯システムにも使えそうです!ラズパイでディープラーニングを行うのは少し厳しいので(できなくもないですが)とても便利でありがたい機能です。

おわりに

いかがでしたでしょうか?OpenCvを使うだけで結構簡単に顔認識ができるんです。

わたしはネットの画像を写真でとるという面倒くさいことをしましたが、皆さんは自分自身の顔などで挑戦してみるといいかもしれません。

コードをコピーするだけでできますので、是非やってみてください!

追記(2020/11/13)クラスを作ってみました

短いコードで実行できるように、クラスを作ってみたので活用してみてください。

FaceRecogクラスのメソッドと説明
メソッド 説明
__init__(self,haar_dir='./')

初期化を行う

引数はhaarcascadeのあるディレクトリパス

capture(self,cap_dir='./',take_pic=30,
scaleFactor=1.2, minNeighbors=5, 
minSize=(100, 100)):
 

学習用の写真を撮影する。

引数は頭から順に撮影した画像を保存するディレクトリパス、撮影する枚数、画像スケールにおける縮小量、信頼性のパラメータ、物体が取り得る最小サイズ。

facetrain(self,img_path='./',train_dir='./')

撮影した画像を訓練する。

引数は、訓練画像が保存されているディレクトリパス、訓練後の.ymlファイルの保存先

facerecog(self,train_dir='./',names=['none'],scaleFactor=1.2, minNeighbors=5, minSize=(100, 100))

顔を認識する

引数は頭から順に訓練後データのあるディレクトリパス、idに対応する名前のリスト、画像スケールにおける縮小量、信頼性のパラメータ、物体が取り得る最小サイズ。

使い方

実際に使ってみます。3行目の名前の入ったリストを変更するだけで、

写真撮影⇒訓練⇒顔認識を一度に行うことができます。

顔認識の精度を上げたければ、引数にパラメータを指定してください。デフォルトは以下のようになっています。

  • scaleFactor=1.2,
  • minNeighbors=5,
  • minSize=(100, 100))
#classのインポート
from FacialRecog import FaceRecog
names = ['none','makky']

if __name__ == "__main__":
    face = FaceRecog()
    face.capture('image',50)# imageディレクトリに50枚写真を保存
    face.facetrain('image',"train")# imageディレの画像を訓練⇒trainディレに訓練データ保存
    face.facerecog('train',names)# trainディレクトリにあるデータを用いて顔認識を行う
    

クラスの中身

import cv2
import os
import numpy as np
from PIL import Image

#顔認識クラス(撮影/訓練/認識)
class FaceRecog:
    
    def __init__(self,haar_dir='./'):        
        self.face_detector = cv2.CascadeClassifier(haar_dir+'haarcascade_frontalface_default.xml')
        self.ids = []
    # 顔写真撮影クラス 引数 

    #cap_dir:撮影写真保存用
    #take_pic:撮影写真の枚数 defo=30
    #scaleFactor=1.2
    #minNeighbors=5
    #minSize=(100, 100)
    
    def capture(self,cap_dir='./',take_pic=30,scaleFactor=1.2, minNeighbors=5, minSize=(100, 100)):
        cam =  cv2.VideoCapture(0)   
        cam.set(3, 640) # set video width
        cam.set(4, 480) # set video height
        # For each person, enter one numeric face id
        face_id = input('\n enter user id end press <return> ==>  ')
        name = input('\n enter user name end press <return> ==>')
        print("\n [INFO] Initializing face capture. Look the camera and wait ...")
        # Initialize individual sampling face count
        count = 0

        while(True):
            ret, img = cam.read()
            if not ret:
                break
            img = cv2.flip(img, -1) # flip video image vertically
            gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
            faces = self.face_detector.detectMultiScale(gray, 1.1)

            for (x,y,w,h) in faces:
                cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)     
                count += 1

                # Save the captured image into the datasets folder
                cv2.imwrite(cap_dir+'/' +str(name)+'.'+ str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])

            cv2.imshow('image', img)

            k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video
            if k == 27:
                break
            elif count >= take_pic: # Take 30 face sample and stop video
                break

        # Do a bit of cleanup
        print("\n [INFO] Exiting Program and cleanup stuff")
        cam.release()
        cv2.destroyAllWindows()

    #顔画像の訓練をするメソッド


    #引数
    #img_path:顔写真の保存されているディレクトリ(デフォルトはカレント)
    #train_dir:訓練後のデータを保存するディレクトリ(デフォルトはカレント)
    
    
    def facetrain(self,img_path='./',train_dir='./'):#訓練させる画像のあるディレクトリ,訓練させた後のディレクトリ
        recognizer = cv2.face.LBPHFaceRecognizer_create()
        # function to get the images and label data
        imagePaths = [os.path.join(img_path,f) for f in os.listdir(img_path)]  
        print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")    
        faceSamples=[]
        for imagePath in imagePaths:
            PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
            img_numpy = np.array(PIL_img,'uint8')
            id = int(os.path.split(imagePath)[-1].split(".")[1])
            faces = self.face_detector.detectMultiScale(img_numpy)
            for (x,y,w,h) in faces:
                faceSamples.append(img_numpy[y:y+h,x:x+w])
                self.ids.append(id)#self
            faces,ids = faceSamples,self.ids#self
            recognizer.train(faces, np.array(self.ids))#self

        # Save the model into trainer/trainer.yml
        recognizer.write(train_dir+'/trainer.yml') # recognizer.save() worked on Mac, but not on Pi

        # Print the numer of faces trained and end program
        print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(self.ids))))  
    #顔認識をするメソッド

    #引数
    #train_dir:訓練データのあるディレクトリ
    #names:idに対応した名前のリスト
    #scaleFactor=1.2
    #minNeighbors=5
    #minSize=(100, 100)


    def facerecog(self,train_dir='./',names=['none'],scaleFactor=1.2, minNeighbors=5, minSize=(100, 100)):
        print(minSize)
        recognizer = cv2.face.LBPHFaceRecognizer_create()
        recognizer.read(train_dir+'/trainer.yml')
        font = cv2.FONT_HERSHEY_SIMPLEX
        #iniciate id counter
        id = 0
        
        # Initialize and start realtime video capture
        cam = cv2.VideoCapture(0)
        cam.set(3, 640) # set video widht
        cam.set(4, 480) # set video height

        while True:
            ret, img =cam.read()
            if not ret:
                break
            img = cv2.flip(img, -1) # Flip vertically
            gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
            faces = self.face_detector.detectMultiScale( 
                gray,
                scaleFactor,
                minNeighbors,
                minSize=minSize,
              )

            for(x,y,w,h) in faces:
                cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
                id, confidence = recognizer.predict(gray[y:y+h,x:x+w])#戻り値はidと確信度(0に近いほど正確)

                # Check if confidence is less them 100 ==> "0" is perfect match 
                if (confidence < 100):
                    id = names[id]
                    confidence = "  {0}%".format(round(100 - confidence))
                else:
                    id = "unknown"
                    confidence = "  {0}%".format(round(100 - confidence))
        
                cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
                cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)  
    
            cv2.imshow('camera',img) 

            k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
            if k == 27:
                break

        # Do a bit of cleanup
        print("\n [INFO] Exiting Program and cleanup stuff")
        cam.release()
        cv2.destroyAllWindows()

スポンサーリンク

-Python