ラズパイでSiri風スマートスピーカー作ってみた

$ tree

SiriPJT
│
├── FacialRecognition
│   ├── datasets
│   │   ├── User.1.1.jpg
│   │   ├── User.1.2.jpg
│   │   ├── User.1.3.jpg
│   │   :
│   │   (他の人を付け加えるならここに追加される)
│   ├── face_cap.py#写真を撮る
│   ├── train.py#訓練する
│   ├── face_detect.py#顔を認識する
│   ├── haarcascade_frontalface_default.xml#顔を取るための特徴量（OpenCvからダウンロード）
│   └── trainer
│       └── trainer.yml#訓練後のデータ
├── julius#音声認識エンジン（過去記事参照）
│   ├── julius-4.5
│   └── julius-kit
│        └── dictation-kit-4.5
├── dht11#温湿度測定プログラム
│   └── __init__.py
├── main.py#メインプログラム
├── led.py#LED点灯のクラス
├── temp_humi.py#温湿度測定
├── date.py#日付測定
├── camera.py#カメラ撮影
├── julius.py#ジュリアスを起動
├── voice.py#音声を出力
└── open_jtalk.wav#音声ファイル作成時に作られます

mkdir julius
cd julius
 
#Juliusバージョン4.5をダウンロード
wget https://github.com/julius-speech/julius/archive/4.5.tar.gz
tar xvzf 4.5.tar.gz
cd julius-4.5 
#Makeファイルを作成
./configure --with-mictype=alsa　
#コンパイル
make
#インストール
sudo make install

#Juliusディレクトリに戻る
cd ..
#Julius-kitディレクトリを作成
mkdir julius-kit
#Julius-kitに移動
cd julius-kit
#ディクテーションキットダウンロード・解凍
wget https://osdn.net/dl/julius/dictation-kit-4.5.zip
unzip dictation-kit-4.5.zip

sudo apt-get update #アップデート
sudo apt-get install open-jtalk #インストール
#推奨されているパッケージ
#音声合成のエンジン、辞書、音声データ
sudo apt-get install open-jtalk open-jtalk-mecab-naist-jdic hts-voice-nitech-jp-atr503-m001

sudo apt update 
sudo apt upgrade
#必要なライブラリをインストール 
sudo apt-get install libatlas-base-dev
sudo apt-get intall libjasper-dev
sudo apt-get intall libqtgui4
sudo apt-get intall python3-pyqt5
sudo apt install libqt4-test
#バージョン指定でOpenCVをインストール 
sudo pip3 install opencv-python==4.1.0.25

#GPIO制御のモジュールインストール
sudo pip3 install RPi.GPIO
#DHT11の元ソースコードをクローン（複製）
git clone https://github.com/szazo/DHT11_Python.git

import socket
import time
import subprocess
import voice

def julius_on():
    julius = ['julius']
    jconf1 = ['-C','julius/julius-kit/dictation-kit-4.5/main.jconf']#jconf設定ファイルを読み込む．ファイルの内容がこの場所に展開される．
    jconf2 = ['-C','julius/julius-kit/dictation-kit-4.5/am-gmm.jconf']
    option = ['-module','-demo']
    cmd = julius + jconf1 + jconf2 + option
    subprocess.Popen(cmd,stdin=subprocess.PIPE)
    time.sleep(3)

#coding: utf-8
import subprocess

def jtalk(t):
    open_jtalk=['open_jtalk']
    mech=['-x','/var/lib/mecab/dic/open-jtalk/naist-jdic']
    htsvoice=['-m','/usr/share/hts-voice/mei/mei_normal.htsvoice']
    speed=['-r','1.0']
    outwav=['-ow','open_jtalk.wav']
    cmd=open_jtalk+mech+htsvoice+speed+outwav
    c = subprocess.Popen(cmd,stdin=subprocess.PIPE)
    c.stdin.write(t.encode())
    c.stdin.close()
    c.wait()
    aplay = ['aplay','-q','-Dplughw:2,0','open_jtalk.wav']
    wr = subprocess.Popen(aplay)

#coding: utf-8
import RPi.GPIO as GPIO#PythonでRaspberry　Piの制御するためのライブラリ
 
class LedOnOff:
    def __init__(self,gpio:int):#ピン番号を指定
        self.gpio = gpio
        GPIO.setwarnings(False)
        GPIO.setmode(GPIO.BCM) #GPIOへアクセスする番号をBCMの番号で指定することを宣言。
        GPIO.setup(gpio, GPIO.OUT)

    def ledon(self):#LEDをオンにするメソッド
        print("a")
        GPIO.output(self.gpio, GPIO.HIGH)#出力 3.3V

    def ledoff(self):#LEDをオフにするメソッド
        GPIO.output(self.gpio, GPIO.LOW)#出力 0V
        
    def GpioClean(self):#GPIOをクリアするメソッド
        GPIO.cleanup(self.gpio)
        

#coding: utf-8
import RPi.GPIO as GPIO
import dht11
import time
import datetime

# initialize GPIO
GPIO.setwarnings(True)
GPIO.setmode(GPIO.BCM)

def dht(pin):   
    instance = dht11.DHT11(pin)
    
    while True:
        result = instance.read()
        if result.is_valid():
            text = "温度は%d度、湿度は%d%%です" % (result.temperature,result.humidity)
            return text

#coding: utf-8
import datetime

def rdate():#日付を返す
    d = datetime.datetime.now()
    text = '%s月%s日%s時%s分です' % (d.month, d.day, d.hour, d.minute)
    return text

#coding: utf-8
import picamera
import datetime
import voice
import cv2
import time

def shoot(): # カメラ初期化 
    with picamera.PiCamera() as camera:
        # 解像度の設定 
        camera.resolution = (1024, 768)
        # 撮影の準備 camera.start_preview() 
        # 準備している間、少し待機する
        voice.jtalk("撮影します　3，2，1")
        time.sleep(3)
        # ファイル名用の日付を取得
        date = datetime.datetime.now()
        # 撮影して指定したファイル名で保存する
        filename = 'pi'+str(date)+'.jpg'
        camera.capture(filename)
        print('complete')
 

import cv2
import numpy as np
import os
def recog():        
    recognizer = cv2.face.LBPHFaceRecognizer_create()
    recognizer.read('FacialRecognition/trainer/trainer.yml')#watchout for dir
    cascadePath = "FacialRecognition/haarcascade_frontalface_default.xml"
    faceCascade = cv2.CascadeClassifier(cascadePath);
    font = cv2.FONT_HERSHEY_SIMPLEX
    #iniciate id counter
    id = 0
    # names related to ids: example ==> Marcelo: id=1,  etc
    names = ['ちどりののぶさんです', 'まっきーさんです','小池鉄平さんです'] 
    # Initialize and start realtime video capture
    cam = cv2.VideoCapture(0)
    cam.set(3, 640) # set video widht
    cam.set(4, 480) # set video height
    # Define min window size to be recognized as a face
    minW = 0.1*cam.get(3)
    minH = 0.1*cam.get(4)
    while True:
        ret, img =cam.read()
        img = cv2.flip(img, -1) # Flip vertically
        gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
        
        faces = faceCascade.detectMultiScale( 
            gray,
            scaleFactor = 1.2,
            minNeighbors = 5,
            minSize = (int(minW), int(minH)),
           )
        cv2.imshow('camera',img) 
        for(x,y,w,h) in faces:
            #cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
            id, confidence = recognizer.predict(gray[y:y+h,x:x+w])
            if len(faces) > 0:
                
                # Check if confidence is less them 100 ==> "0" is perfect match 
                if (confidence < 100):
                    id = names[id]
                    confidence = "  {0}%".format(round(100 - confidence))
                    print(confidence)
                    cam.release()
                    cv2.destroyAllWindows()
                    return id,confidence
                else:
                    id = "わからないです"
                    confidence = "  {0}%".format(round(100 - confidence))
                    cam.release()
                    cv2.destroyAllWindows()
                    return id,confidence
                #cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
                #cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)  
            
        #cv2.imshow('camera',img) 
        k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
        if k == 27:
            break
    # Do a bit of cleanup
    print("\n [INFO] Exiting Program and cleanup stuff")
    cam.release()
    cv2.destroyAllWindows()

#coding: utf-8
import socket
import julius
import date
import temp_humi as temp
import camera
import voice
from led import LedOnOff
from FacialRecognition import face_detect as detect

if __name__ == "__main__":
    julius.julius_on()
    led = LedOnOff(23)#LED点灯・消灯クラスのインスタンスを作成　GPIO番号を引数に取ります
    host = '127.0.0.1'   # juliusサーバーのIPアドレス
    port = 10500         # juliusサーバーの待ち受けポート
    data_size = 1024     # 受信データバイト数
    # socket通信でjuliusサーバーに接続（接続要求）
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
        s.connect((host, port))

        strtemp = ""#話した言葉を格納する変数
        fin_flag = False #話終わりのフラグ
 
        
        while True:
            # juliusサーバからデータ受信
            data = s.recv(data_size).decode('utf-8')

            for line in data.split('\n'):
                # 受信データから、<WORD>の後に書かれている言葉を抽出して変数に格納する。
                # <WORD>の後に、話した言葉が記載されている。
                index = line.find('WORD="')
                if index != -1:#認識した文字列があれば
                    #strtempに話した言葉を格納
                    strtemp = strtemp + line[index+6:line.find('"',index+6)]
                # 受信データに</RECOGOUT>'があれば、話終わり ⇒ フラグをTrue    
                if '</RECOGOUT>' in line:
                    fin_flag = True
                if '<RECOGFAIL/> ' in line:
                    print("聞き取れませんでした")
                    fin_flag = False

            if fin_flag == True:
                if "つけて" in strtemp:
                    led.ledon()
                elif "消して" in strtemp:
                    led.ledoff()
                elif "温度" in strtemp:
                    voice.jtalk(temp.dht(14))#戻り値のテキストデータを使って音声出力
                elif "日付" in strtemp:
                    voice.jtalk(date.rdate())#戻り値のテキストデータを使って音声出力
                elif "写真" in strtemp:
                    camera.shoot()
                elif "誰です" in strtemp:
                    name,conf = detect.recog()##戻り値のテキストデータを使って音声出力
                    voice.jtalk(name)
                    print(conf)#信頼度
                else:
                    voice.jtalk("もう一度行ってください")
                fin_flag = False
                strtemp = ""
                

python3 main.py