AI･人工知能による感情センシングと応用事例

１．

３．

２０２６年６月３０日(火)　１２：３０〜１６：２０

【12:30-13:30】

１．生成AI時代における認知モデルおよび認知アーキテクチャの役割

静岡大学 情報学部　行動情報学科　教授　博士(学術)　森田 純哉 氏

【習得できる知識】
　生成AI時代における認知モデル・認知アーキテクチャの役割と基本的な考え方を理解する。センサやAIから得られる人の状態に関する値を、注意・記憶・目標・行動選択などの認知過程に接続する視点を学ぶ。

【講座趣旨】
　センシング技術により、人の感情・注意・認知負荷などの状態を推定することが可能になりつつある。本講座では、そうした状態値を認知モデルおよび認知アーキテクチャの中でどのように表現し、行動理解や支援に活用できるかを解説する。また、生成AIを活用した認知モデルの構築についても触れる。


1. 生成AI時代における認知モデルの必要性
　1-1 生成AIの発展と人間理解の課題
　1-2 データからの推定と、認知過程としての説明の違い
　1-3 認知モデル・認知アーキテクチャが果たす役割
　1-4 感情センシングと認知モデリングの接点

2. 人の状態値をどう捉えるか
　2-1 感情、注意、興味、認知負荷、覚醒度の位置づけ
　2-2 センサやAIにより得られる状態値の意味
　2-3 主観報告、行動データ、生理指標の関係
　2-4 状態値をそのまま解釈することの限界

3. 認知アーキテクチャの基本的考え方
　3-1 認知アーキテクチャとは何か
　3-2 ACT-Rにおける目標、記憶、知覚、運動のモデル化
　3-3 認知過程を計算モデルとして表現する意義
　3-4 人の状態をモデルの入力・パラメータ・制御変数として扱う考え方

4. 状態値を認知過程に接続する方法
　4-1 注意状態を情報選択や処理資源の変化として表す
　4-2 認知負荷を処理時間、誤り、記憶検索困難として表す
　4-3 感情や興味を目標選択、行動継続、探索行動に接続する
　4-4 覚醒度やストレスを判断速度や行動選択の変化として扱う

5. 応用と今後の展望
　5-1 作業支援・教育支援における状態推定と介入タイミング
　5-2 対話AI・エージェントにおけるユーザ状態のモデル化
　5-3 生成AIと認知アーキテクチャを組み合わせた人間中心AI
　5-4 今後の課題：個人差、文脈依存性、説明可能性、倫理

【質疑応答】

【13:40-14:40】

２．AIを用いた遠隔メンタルヘスルケアシステムの開発

徳島大学 大学院 社会産業理工学研究部　准教授　松本 和幸 氏

【講座趣旨】
　メンタルヘルス診断のDXの観点から、スマートフォンで取得したテキスト、音声、画像などのマルチモーダル情報から日々のメンタル状況を常にモニタリングし、未病段階でユーザ にメンタル不調の気付きを与え、ストレス解消行動の喚起を提供するシステムの実現を目指す。メ ンタル不調の検出はマルチモーダルAIモデルにより実現する。


１．はじめに

２．先行研究
　2.1 MELD
　2.2 MuSe: a Multimodal Dataset of Stressed Emotion
　2.3 IEMOCAP 2.4 CMU-MOSEI
　2.5 注意機構に基づく特徴量融合による顔および音声特徴を用いたマルチモーダル感情推定
　2.6 音声･テキスト･表情･動作のマルチモーダル感情推定
　2.7 IEMOCAPやMELDデータセットを比較した研究
　2.8 マルチモーダル感情推定における非接触技術
　2.9 生体信号による感情推定の精度向上の可能性

３．感情ラベル付きカウンセリングマルチモーダルデータセット
　3.1 マルチモーダルデータの収集方法
　3.2 アノテーションを行うための前処理（匿名化処理）
　3.3 マルチモーダル特徴量の抽出
　3.4．感情ラベルのアノテーションと評価

４．データセットの分析
　4.1 モダリティごとに感情推定した結果と
　　アノテーションされた感情との相関分析
　4.2　特徴量間の相関分析
　4.3　特徴量とストレスレベルの相関分析
　4.4　特徴量と感情との相関分析
　4.5　感情とストレスレベルの相関分析

５．モデル構築と評価
　5.1 感情推定モデルの構築
　5.2 感情推定モデルの評価

【質疑応答】

【14:50-16:20】

３．感性・感情・印象の評価・定量化・モデル化への挑戦

早稲田大学 人間科学学術院 人間情報科学科　教授　松居 辰則 氏

【講座趣旨】
　人間は誰しも「感性」をもっており、「感情」を表出したり「印象」を感じて意思決定や行動選択を行います。つまり、「感性・感情・印象」は人間の人間らしさの本質であるといっても過言ではありません。しかし、「感性・感情・印象」を定量的に捉えることは困難です。一方、情報技術、特に、人工知能技術の発展に伴い、人間と技術の共生の観点からは、様々な技術開発・商品開発においても人間の「感性・感情・印象」を十分に考慮することが一層重要となります。そこで、本講演では、「感性・感情・印象」の評価・定量化・モデル化について研究事例を紹介しながら、技術としての展開の可能性を議論したいと思います。さらに、生体計測による心理状態の推定の可能性と応用についても議論したいと思います。なお、機械学習、データ分析手法等の理論や技術の詳細は扱いません。


1. 生成AI時代における認知モデルの必要性
　1-1 生成AIの発展と人間理解の課題
　1-2 データからの推定と、認知過程としての説明の違い
　1-3 認知モデル・認知アーキテクチャが果たす役割
　1-4 感情センシングと認知モデリングの接点

2. 人の状態値をどう捉えるか
　2-1 感情、注意、興味、認知負荷、覚醒度の位置づけ
　2-2 センサやAIにより得られる状態値の意味
　2-3 主観報告、行動データ、生理指標の関係
　2-4 状態値をそのまま解釈することの限界

3. 認知アーキテクチャの基本的考え方
　3-1 認知アーキテクチャとは何か
　3-2 ACT-Rにおける目標、記憶、知覚、運動のモデル化
　3-3 認知過程を計算モデルとして表現する意義
　3-4 人の状態をモデルの入力・パラメータ・制御変数として扱う考え方

4. 状態値を認知過程に接続する方法
　4-1 注意状態を情報選択や処理資源の変化として表す
　4-2 認知負荷を処理時間、誤り、記憶検索困難として表す
　4-3 感情や興味を目標選択、行動継続、探索行動に接続する
　4-4 覚醒度やストレスを判断速度や行動選択の変化として扱う

5. 応用と今後の展望
　5-1 作業支援・教育支援における状態推定と介入タイミング
　5-2 対話AI・エージェントにおけるユーザ状態のモデル化
　5-3 生成AIと認知アーキテクチャを組み合わせた人間中心AI
　5-4 今後の課題：個人差、文脈依存性、説明可能性、倫理

【質疑応答】