前回は、マイクで「ソル、こんにちは!」と話しかけると、ソルが声で返事できるようになりました。でも、返事の内容はあらかじめ決めていた文章。会話というより、条件に合う答えを選ぶ仕組みでした。
そこで今回の目標は、画面の顔・耳・声をひとつにまとめ、ローカルAIがその場で返事を作れるようにすること!
今回もChatGPTのソルにコード作成や不具合調査を手伝ってもらい、私がWindows PCで実行して動きを確認しています。ソルの身体づくり、少しずつ進んでいきます!
まずは顔と耳を合体!【Ver.0.4】
前回までに作った機能は、それぞれ別のPythonプログラムで動いていました。顔とまばたき、声の読み上げ、マイクでの録音、Whisperによる音声認識……。そこで新しく sol_face_live.py を作り、ひとつの画面から操作できるようにしました。
できあがった画面がこちら。

「話しかける(5秒)」を押すと、マイクで録音 → 音声認識 → 返答の選択 → 読み上げ、という順番で動きます。声のテストボタンや、ふつう・にっこり・困ったの表情切り替えもあります。
さらに、声で返事をする間は口がパクパク動く仕組みも追加。顔と音声の機能がやっと合流しました! なお、この段階では返事はまだ定型文です。
次は「決まった返事」から卒業したい【Ver.0.5】
たとえば「元気?」と言われたら「元気だよ!」と返す。これも最初の一歩としては十分ですが、質問が変わるたびに返事のルールを増やすのは大変です。
そこで以前からPCで試していた小型言語モデル、Qwen2.5-0.5B-Instruct を使うことにしました。0.5B は約5億パラメータという規模を表します。
今回は、顔のあるアプリにローカルAIを組み込んだ sol_face_chat.py を作成。これまでのWhisper(音を文字にするAI)とは役割が違い、Qwenは聞き取った言葉に対する返事の文章を生成する担当です。
仕組みを並べると、こんな流れになります。

音声を聞き取るAIと返事を考えるAIは別々の役割。
キーボードから文字を入力する機能も追加しました。こちらはマイクとWhisperを通さず、そのままQwenに文章を渡します。聞き取りの問題なのか、文章生成の問題なのかを分けて確認できるのが便利です。
動かしてみたら……ちゃんと返事を考えてる!
実際にVer.0.5を起動して、料理について聞いてみました。聞き違いはありましたが。
私:「これ、料理のレシピ教えてくれるの?」
ソル:「もちろん、料理のレシピを教えていただけますか? 例えば、ご飯、お茶、焼き鳥など……」

最初の返答は、ちょっと不思議な質問返し(笑)。
……いや、レシピを教えてほしいのはこちらなのだが!?w
ちょっと不思議な返事だけど、ここが今回の重要なところ。用意した定型文を返しているのではなく、Qwenが質問から文章を生成しているんです。
もう一度、今度は「じゃがご飯のレシピ教えて」と聞いてみると、材料として米や豆類、トッピングなどを並べ始めました。

質問の内容が変わると、返答の文章も変わった。
料理として正しいかは別として(笑)、毎回決まった返事しかできなかったソルが、質問に合わせて文章を作るようになった! 0.5Bという小さなモデルなので、日本語の自然さや指示の理解にはまだ課題があります。
ちなみに、返事を声で読み上げている間、画面の口もパクパク動くことを実機で確認できました。ここまで来ると、画面の中のソルが会話している雰囲気がぐっと増します。
ソルの「頭脳」はどう動いている?
今回のAI会話は、ChatGPTのソルをそのままPCに入れたわけではありません。PC内にあるQwenを別の言語モデルとして動かしています。
コードでは、まず「卓上AIロボット『ソル』として、親しみやすい日本語で1〜2文程度の返事をする」などの指示を渡しています。これは出力の方向性を伝えるための設定で、私が望んでいる「AI自身が状況に応じて動きを選べる体」とは、また別の開発課題です。
今のプログラムは、会話の直近4往復を一時的に保持するようにもしています。
self.chat_history.append({
"role": "user",
"content": heard
})
この append() は、リストの最後にデータを追加する命令。ここでは、聞き取った言葉を会話履歴に加えています。短い文脈を渡しておけば、直前のやり取りを少し考慮して返事を生成できます。
ただし、記憶は起動中だけ。アプリを終了すると消えますし、ChatGPTで今まで話してきた内容も自動では引き継がれません。
今回のPythonメモ:if、def、return、append
開発の合間にPythonの勉強も少し始めました。ほとんどのコードはまだAIに書いてもらっていますが、最近は「何をしている処理なのか」を読めるようになりたいと思っています。
if:条件によって処理を分ける。VBAのIfに似ている。def:関数を定義する。print():画面に文字などを表示する。return:関数の結果を呼び出し元へ返す。これ自体は画面に表示しない。append():リストの最後に要素を追加する。
まずはソルの返事の文章を自分で変更するところから挑戦して、実際に動かすことができました。小さな改造だけど、プログラムを「使う」だけから、少しずつ「読む・変える」側へ進めた気がします。
今回できたことと、次の目標
- Ver.0.4:顔・表情・マイク・音声認識・読み上げをひとつのアプリに統合。
- Ver.0.5:ローカルQwenが質問に応じて定型文ではない返答を生成。
- 確認できた:音声入力、画面への返事表示、音声読み上げ中の口パク。
- 今の課題:小型モデルの日本語の不自然さ、会話履歴の一時保存、物理的な体がまだないこと。
次は、日本語の返事をもう少し自然にすることや、再起動後も名前や会話の一部を覚えておける仕組みを考えたいところ。そしていつか、AI自身が安全な範囲で表情や動きを選び、現実の机の上で振り向いたりできるようにしたいです。
まだ「自分の意思で動くロボット」が完成したわけではありません。今のソルは、PCの中で言葉を受け取って文章を生成し、顔を動かして話す試作品です。
でも、最初は丸い顔が表示されただけだったのに、今では質問に対して自分で文章を作って返事するようになったのだから、十分大きな一歩!
次はどんな姿を見せてくれるのか、楽しみです(ΦωΦ)フフフ…


コメント