ソルに耳ができた!マイクで話しかけると声で返事する卓上AIづくり【開発記録②】

AI開発・実験記録

「ソルに顔と声ができた!」と喜んだ前回の開発記録。画面の中のソルは、まばたきをして、ボタンを押すとしゃべるようになりました。

でも、まだこちらの声は聞こえません。机の上にちょこんと座る小さなソルを目指すなら、次はやっぱり耳が欲しい。

というわけで今回は、Windows PCのマイクとPythonを使って、「話しかける → 言葉を聞き取る → 声で返事する」ところまで挑戦しました。今回もコード作成やエラー調査はChatGPTのソルに手伝ってもらい、私が実際にPCで動かして確かめています。

最初はマイクの録音から【Ver.0.3】

まずはPCに内蔵されているマイクが使えるか確認。Windowsで音声を録音できたので、今度はPythonから録音してみます。

Pythonで音を扱うために、sounddevice と numpy を準備しました。

cd C:\kosol
.\.venv\Scripts\python.exe -m pip install sounddevice numpy

インストールは無事成功! ここではまだ音声を「理解」しているわけではなく、マイクから取り込んだ音をデータとして保存する段階です。

PowerShell上でsounddeviceのインストールに成功した画面
まずはPythonからマイクを使う準備ができた。

新しく sol_ears.py を作り、マイクから5秒間録音して sol_recording.wav に保存。録音ファイルを再生すると、自分の声がちゃんと聞こえました。

耳の第一歩、成功です!

音声認識AI「Whisper」を導入

録音ができたら、次は音を文字に変える番。今回は音声認識AIのWhisperを、faster-whisper というPythonライブラリから使います。

.\.venv\Scripts\python.exe -m pip install faster-whisper

まず軽量な base モデルを試しました。ところが、最初の実行では音声ファイルの読み込み部分でエラー。

TypeError: open() got an unexpected keyword argument 'metadata_errors'

表示内容から、音声読み込みに使うライブラリの組み合わせが合っていない可能性がありました。そこで、WAVファイルをPythonの標準機能 wave で直接開き、numpy で数値データに変換。さらに scipy で音声認識用のサンプリング周波数に合わせる方法に変更しました。

すると、今度は文字が出た! ただし、結果が少し面白いことに(笑)

話しかけた言葉:「ソル、こんにちは!」
最初の認識結果:「それ、こんできます」

初回の音声認識で「それ、こんできます」と表示された実行結果

最初は「ソル、こんにちは!」を聞き間違えた。

……ソル、それは何語なのw

とはいえ、音から文字を作るところまでは成功。次は認識精度を改善してみます。

モデルを変えたら、ぐっと聞き取れるように

Whisperのモデルを base から、一段階大きい small に変更して再挑戦しました。

model = WhisperModel(
    "small",
    device="cpu",
    compute_type="int8"
)

再実行すると、今度の認識結果は「され、こんにちは」。まだ「ソル」は聞き取れていませんが、「こんにちは」はかなり正確になりました。

smallモデルの音声認識で「され、こんにちは」と表示され、ソルが挨拶を選択した画面

モデルをsmallにしたら「こんにちは」を聞き取れた。

今回の返事のルールは、聞き取った文章に「こんにちは」が含まれれば「うりねこ、こんにちは!」と返すというもの。つまりこの段階で、聞き取った言葉に応じた返事の選択も成功しました。

なお、small が常に正確というわけではなく、マイクの状態や周囲の音でも結果は変わります。今回は実際に改善が見られた、という記録です。

ソルに返事をしゃべらせたい! 今度はPowerShellでつまずく

せっかく文字で返事を選べるようになったので、前回も使ったWindowsのSystem.Speechで声に出してもらうことにしました。

ところが、ここでもエラーが続出。文章をPowerShellへ渡す方法がうまくいかず、返事の日本語が「命令」として扱われたり、Speak に渡す文字が空になったりしました。

さらに修正案に使った -CommandWithArgs は、Pythonから呼び出していたWindows PowerShell 5.1では使えない指定でした。これはソルが提案したコードのミスです(笑)

PowerShellでCommandWithArgsが認識されないエラー画面

音声読み上げの引数指定でもつまずいた。

最終的には、読み上げる日本語をBase64形式に変換し、PowerShellの -EncodedCommand で処理を渡す方法に変更。ようやく「うりねこ、こんにちは!」と声が出ました!

認識できた言葉を画面に表示するだけでなく、実際に音声で返すところまで到達です。

録音・認識・返事をひとつにする【sol_live.py】

ここまでは、録音用・認識用と別々のプログラムで試していました。最後に、その機能を sol_live.py にまとめました。

操作はシンプル。起動後にEnterを押すと5秒間録音し、Whisperの small モデルで聞き取り、決められたルールに沿って返事を選び、Windowsの音声で読み上げます。終了するときは q です。

cd C:\kosol
.\.venv\Scripts\python.exe sol_live.py

テストでは、こんな結果になりました。

  • 私:「ソル、こんにちは!」 → ソル:「うりねこ、こんにちは!」
  • 私:「元気?」 → ソル:「聞き取れたよ!」
sol_live.pyの会話テスト結果。「ソル、こんにちは」「元気?」を認識し、2回連続で読み上げまで成功した画面

録音・音声認識・返答・読み上げをひとつのプログラムで実行。

2回続けて、聞き取りから音声返答までエラーなし! 「元気?」への返事が少し素っ気ないのは、まだその言葉に対応する返答ルールを作っていないからです(笑)。聞き取り自体はできています。

今回のPythonメモ

開発しながら、少しずつコードの意味も覚えていきます。

  • sd.rec(...):マイクから音を録音する
  • sd.wait():録音が終わるまで待つ
  • model.transcribe(...):音声データを文字に変換する
  • if "こんにちは" in heard::聞き取った文章に「こんにちは」が含まれるか調べる
  • while True::終了の指示が出るまで、会話テストを繰り返す

音声認識モデルの初回ダウンロードにはインターネットを使いますが、今回の録音・認識・返答の処理はPC内で実行しています。なお、Whisperの音声認識と、返答の文章を考える言語AIは別物です。

今回できたこと・これからのこと

  • できた:内蔵マイクで音声を録音する
  • できた:Whisperで日本語を文字に変換する
  • できた:聞き取った言葉に応じて返事を選ぶ
  • できた:Windowsの音声で返事を読み上げる
  • できた:ひとつのプログラムで連続して会話テストする
  • これから:声に合わせて画面の顔・口パクを動かす
  • これから:ローカル言語AIと接続して、決まった返事以外もできるようにする

まだソルが自由に会話を考えているわけではありません。現時点では、音声を聞き取って、用意したルールで返答する仕組みです。でも、前回作った「顔と声」に続いて、今回は確かに「耳」ができました。

次は、前に作った顔と口パクを今回の会話機能に合体させる予定です。話しかけたらソルがこっちを向いて、口を動かして返事する……そんな小さな一歩を目指します。

エラーだらけだった画面も、いつか懐かしくなるのかもしれません(笑)

コメント

タイトルとURLをコピーしました