感情推定 生体計測 書籍
 
No.2309
生体センシング技術の開発と ヘルスケア、遠隔診断への応用
“使いやすさ”の定量評価と製品設計への落とし込み方

★心拍・脈波、脳波、発汗、眼球運動、瞳孔反応、表情、音声、姿勢・ジェスチャー、、 ユーザーの行動や心理状態を正確に把握する!

★個人差のばらつき、ラベルの曖昧さ、精度の不安定性、複数感情の混在、、、
                       AIを活用した生体情報を高速かつ高精度に解析するには?

感情センシング技術と活用事例
 
〜快/不快、疲労、ストレス、緊張、覚醒、楽しい/わくわく/愛着などのポジティブ感情〜

発刊予定 : 2025年8月末  体 裁 : A4判 400頁   定 価:88,000円(税込)   ISBN:978-4-86798-090-3


 
■試読を希望される場合は下記からお申し込みください
 
■ 本書のポイント
●測定条件の設定

・個人差、季節・時間などの環境変動への対応
・リアルタイムに推定・計測できるシステム
・日常的な使用環境に近い状態で計測するための非侵襲的かつ低負荷なセンシング手法
・倫理的な配慮の強化

●マルチモーダルな情報統合とAI

・複数の生体指標の組み合わせた方
・タイミングの不一致
・異なるモダリティ間の情報融合
・AIによるデータ解析の高度化
・感情の複雑さや学習データの偏りをどうするか

●豊富な活用事例
・音声認知と頭部姿勢変化による オンライン会議中のストレス状態
・安心・快適・わくわく感 の定量評価
・アイトラッカを用いたユーザビリティ評価
・バイタル推定による運転時の眠気、感情推定
・MRシステムにおける生理指標を用いた 不快感の客観的評価
・視線情報を活用した購買動機の分析
・生理現象を表現するロボットの実装
・ChatGPTを搭載したヴァーチャルアバターとの会話からの感情分析
 

■ 執筆者(敬称略) 

東京理科大学 阪田 治 千葉工業大学 有本泰子
WINフロンティア(株) 駒澤 真人 千葉大学 津村徳道
インフィニオン テクノロジーズ ジャパン 浦川 辰也 千葉大学 小室 信喜
信州大学 吉田 宏昭 早稲田大学 松居 辰則
東京科学大学 中山実 早稲田大学 伴地 芳啓
トビー・テクノロジー(株) 蜂巣健一 早稲田大学  菅原 徹
パナソニックインダストリー(株) 吉岡 元貴 大阪工業大学 竹内大樹
医療創成大学 伊藤 嘉章 大阪大学 木村 司
横浜国立大学 島 圭介 筑波大学  真栄城 哲也
(株)JINZEN 小山 裕昭 長岡技術科学大学 中川匡弘
関西大学 米澤朋子 帝京大学 三橋 郁
関西大学 徳丸 正孝 東京工芸大学 森山 剛
京セラ(株) 宮崎 淳吾 東京大学 上田 一貴
京都大学 中澤篤志 徳島大学 松本和幸
金沢工業大学 伊丸岡俊秀   奈良先端科学技術大学院大学 田中 宏季
慶應義塾大学 青山 敦 福井医療大学 塩見格一
広島国際大学 大西 厳 名古屋市立大学 早野 順一郎
広島市立大学 梶山 朋子  和歌山大学 松延 拓生
埼玉大学 綿貫 啓一 信州大学 大橋俊夫
芝浦工業大学 菅谷みどり 信州大学 児山 祥平
秋田大学  景山 陽一 神戸大学  和泉 慎太郎
信州大学 大橋俊夫 静岡大学 森田 純哉

■ 目  次

第1章 生理情報(心拍、呼吸、汗・唾液成分)による感情センシング

第2章 行動情報 (音声や顔の表情、身体動作)による感情センシング

第3章 マルチモーダル感情解析とAI活用術

第4章 感情センシングの応用事例

◇第1章 生理情報(心拍、呼吸、汗・唾液成分)による感情センシング◇

1節 機械学習モデルを用いた光電容積脈波を用いた心理的ストレス状態計測
1.感情変化に着目した心理的ストレス評価と心拍変動解析
 1.1 心拍変動解析を用いた研究
 1.2 生体情報の解析における機械学習技術
 1.3 機械学習を用いた研究
2. 成果と応用
 2.1 研究対象および測定条件
 2.2 特徴量の抽出と解析手法
 2.3 モデル構築と評価
 2.4 考察と今後の展望
3.結論

2節 ウェアラブル技術による心拍変動による感情解析と実用例
1.ウェアラブル心拍センサを活用したサービス
2.スマートフォンのカメラを活用したサービス
3.リストバンドセンサを活用したサービス
4.指尖脈波センサを活用したサービス

3節 FBGセンサーを用いた脈波解析によるストレス計測
1.Fiber Bragg Gratingセンサシステムの概要
 1.1 FBGセンサでのひずみ検出原理
 1.2 FBGセンサシステム
 1.3 ポアンカレプロット法でのストレス検出方法
2.短時間(6分間)でのストレス検出の実験方法および検出結果
3.長時間(24分間)でのストレス検出の実験方法および検出結果

4節 60GHzレーダーによるバイタルセンシングと「感情推定」への応用可能性
1.ミリ波レーダーの基礎と周波数帯別特徴
2.60GHz帯ミリ波レーダー応用事例
3.主要国、主要地域における60GHz帯ミリ波レーダーの法整備状況
4.ミリ波レーダーICの種類とインフィニオン製60GHz帯ミリ波レーダーIC
5.ミリ波レーダーによるバイタルセンシングの現状と課題
6.感情推定への応用可能性
7.まとめ

5節 脳波のフラクタル性を用いた嗅覚・味覚の感性評価
1. はじめに
2. フラクタル次元推定手法
 2.1 分散のスケーリング特性を用いたフラクタル次元推定法
 2.2 時間依存型フラクタル次元解析
3. 感性フラクタル次元解析法
4. 実験方法
 4.1 プロトコル
 4.2 感性の教師データの取得
 4.3 被験者
 4.4 使用機器
5. 解析結果および考察
 5.1 独立成分分析を用いた筋電成分除去
 5.2 感性解析
 5.3 感性変動率
 5.4 飲料の総合評価
 5.5 被験者の選定
 5.6 解析結果
6. まとめと今後の課題

6節 簡便な脳波センサ、デバイスの開発と心の見える化
1 脳波センサ開発における懸念点とその対策
 1.1 従来型脳波計の課題と簡便化へのニーズ
 1.2 簡便デバイスの設計方針と特徴
 1.3 脳波測定におけるノイズ要因とその克服
  1.3.1 ハードウェア側の対策
  1.3.2ソフトウェア側の対策
2.心の状態を定量的に読み解くための指標化
3.社会実装に向けた展望
4.心の見える化に関する具体的な事例
 4.1 事例1:多動傾向のある人におけるヨガによる脳波の可視化と介入効果
 4.2 事例2:ゴルフにおけるプレショット・ルーティン中のメンタル評価
 4.3 事例3:視覚刺激による感情誘導と脳波反応の可視化
  4.3.1 眩しさのストレスと脳波
  4.32 事例4:色と脳波
 4.4 実例から見える「心の見える化」の意義

7節 精神性発汗のメカニズムと換気カプセル型発汗計の開発
1.精神性発汗現象と温熱性発汗現象との相違点
2.我々の開発した手掌部発汗計の特徴
3.手掌部発汗量と手掌部発汗現象の同時記 録装置の開発


8節 ウェアラブル生体センサによる情動スペクトルの推定
1.ゆらぎ解析のためのデータの収集
 1.1 短時間記録と長時間記録
 1.2 ゆらぎの起源に応じたデータの抽出
 1.3 心電図と脈波
2.ゆらぎの量的解析
 2.1 心拍変動と自律神経機能
 2.2 心拍変動と健康リスク
3.ゆらぎの質的解析
 3.1 フラクタル解析
  3.1.1 Power-law analysis
  3.1.2 Detrended fluctuation analysis (DFA)
 3.2 複雑性・不規則性の解析
  3.2.1 エントロピーの解析
  3.2.2 自己回帰残差の解析
 3.3 非ガウス性の解析
 3.4 動的反応の解析
  3.4.1 Heart rate turbulence (HRT)
  3.4.2 心拍数周期性変動 (CVHR)

9節 マイクロ波を用いた非接触生体計測技術
1.ウェアラブル生体センサの課題と心拍計測の低侵襲化
2.マイクロ波ドップラーセンサを用いた心拍の計測
3.ドップラーセンサのノイズと心拍抽出
4.ドップラーセンサの応用例

10節 生体信号の計測と情報解析・データマイニングのコツ

 

 

◇第2章 行動情報 (音声や顔の表情、身体動作)による感情センシング◇

1節 情動と眼球運動
1.オンライン環境によるコミュニケーションの変化
 1.1 実験
 1.2 実験計画
 1.3 実験協力者
 1.4 実験参加者
 1.5 刺激
 1.6 装置
 1.7 実験環境
 1.8 手続き
 1.9 結果
 1.10 考察

2節 眼球情報による感情喚起画像への感情推定
1.眼球情報における情動の影響
 1.1 感情の分類
 1.2 感情による眼球情報の変化
 1.3 感情と眼球情報の関係
2. 眼球情報による感情推定の検討
 2.1 実験方法
  2.1.1 感情喚起画像の提示実験
  2.1.2 項目反応理論による分析
 2.2 眼球情報による回帰分析
 2.3 分析結果
  2.3.1 回帰分析の概要と結果
  2.3.2 領域ごとの評価
  2.3.3 特徴量の寄与


3節 角膜イメージング・アイトラッキングカメラによる計測・解析技術
1.視線検出の仕組み
2.角膜イメージング法による視線検出
3.角膜表面反射画像の応用とそのセキュリティリスク
4節 角膜表面反射光および瞳孔径の計測・解析技術
1.視覚特性とアイトラッキング原理
2.アイトラッキングと生理反応
3.広がる活用領域
 3.3 瞬目
 3.2 開眼度
 3.1 瞳孔径
4.今後の発展

5節 アイトラッカを用いたユーザビリティ評価
1. はじめに:ユーザビリティ評価と感情センシングの重要性
2. アイトラッキング技術の基礎
 2.1 アイトラッカの種類と特徴
 2.2 計測可能な眼球運動データとその意味
 2.3 分析手法と心理状態の推定
 2.4 応用に向けた課題と展望
3.ウェブコンテンツにおける眼球運動計測を用いたユーザビリティ評価と心理的負荷の推定
 3.1 ウェブにおける眼球運動計測の意義
 3.2 注視対象の特定と心理的負荷の推定
 3.3 実験事例と評価結果
 3.4 課題と今後の展望
4.VR環境における応用事例
 4.1 VRにおける眼球運動計測の特徴
 4.2 興味の推定とその質の分析
 4.3 行動指標との統合
 4.4 実験事例と課題
5.UX設計への応用
 5.1 心理的負荷の検出
 5.2 意思決定過程のフェーズ分類
 5.3 設計支援への応用
6.まとめと今後の展望:視線計測による感情センシングの可能性


6節 カメラにより得られた顔動画像からの血圧推定
1.脈波と血圧の関係
2.血圧に関する特徴量取得
3.顔動画像を用いた血圧推定
4.まとめと今後の課題

7節 表面筋電図、心電図を用いた感性評価
1.表面筋電図を用いた感性評価
 1.1 表面筋電図
 1.2 顔の筋トレ効果の検証事例
 1.3 筋電位多点計測法と肩の疲労の評価
2.心電図を用いた感性評価
 2.1 心電図
 2.2 自動車運転中の心拍変動
 2.3 笑いと自律神経活動指標


8節 顔の画像処理・表情解析と快・不快評価
1.FACS (Facial Action Coding System) による表情の体系化
1.Viola-Jones顔検出器10)により特徴点の初期位置を決定する
2.コンピュータによる表情画像解析
 2.1 有用な顔画像処理手法
  2.1.1 AAM (Active Appearance Models)
  2.1.2 AAMの発展―CLM (Constrained Local Models)
 2.2 入手可能なリソース
 2.3 表情画像解析の応用例―運転者の気分検出
  2.3.1 統計的手法による気分表情検出法
  2.3.2 顔画像の部分空間とその変化の数値化
  2.3.3 過覚醒気分数値化の結果例

9節 カメラを用いた脈拍、呼吸、表情変化の推定技術
1.機械学習による人・顔検出
 1.1 背景
 1.2 人・顔検出に用いられる技術
 1.3  活用上の留意点
2.カメラを用いた脈波(脈拍)推定
 2.1 背景
 2.2 rPPGの原理と処理手順
 2.3 活用上の留意点
3.呼吸波形の推定
 3.1 背景
 3.2 呼吸推定の原理と処理手順
 3.3 活用上の留意点
4.表情変化の推定
 4.1 背景
 4.2 表情変化の推定の原理と処理手順
 4.3 活用上の留意点


10節 カメラや非接触センサを用いた表情推定、バイタル推定センシング
1. 感情推定
 1.1 感情推定の概要
 1.2 感情推定の方法
 1.3 感情推定の応用
2. 認識的感情(学習時の感情)
 2.1 認識的感情(epistemic emotion)の概要
 2.2 認知的感情の推定手法
3. 眠気推定
 3.1 眠気推定の概要
 3.2 眠気の推定方法
 3.3 眠気推定の応用
4 バイタル推定
 4.1 心拍・脈拍推定
 4.2 脈波伝播時間
 4.3 非接触での脈波伝播時間推定
 4.4 カメラとマイクロ波による脈波伝播時間

11節 喜びの表情を対象とした顔表面温度解析
1.はじめに
2.使用データ
3.データ解析手法
 3.1 可視動画像および熱動画像に対する前処理
 3.2 可視動画像および熱グレースケール画像に対する線形補間
 3.3 可視動画像および熱グレースケール画像に対する顔検出
4.着目領域における温度変化解析
 4.1 着目領域の設定
 4.2 皮膚温度差分の算出
 4.3 皮膚温度差分に対する平滑化処理
5.笑いおよび苦笑いにおける温度変化解析
 5.1 単一の着目領域における温度変化
  5.1.1 情動喚起区間ごとの最小二乗法による傾きの算出
  5.1.2 皮膚温度の上昇・下降傾向が多い被験者数の集計結果および考察
 5.2 複数の着目領域間における温度変化
  5.2.1 異なる着目領域間における温度変化傾向の集計
  5.2.2 皮膚温度の上昇・下降傾向が多い被験者数の集計結果および考察
6.おわりに

12節 音声、顔表情による感情推定技術

13節 複数対話ドメインにおける自発音声からの感情知覚
1 音声コーパス
1.1 感情評定値付きオンラインゲーム音声チャットコーパス(OGVC)
1.2 宇都宮大学パラ言語情報研究向け音声対話データベース(UUDB)
2 クロスコーパス感情ラベリング
 2.1 目的
 2.2 ラベラースクリーニング
 2.3 本実験
3 分析方法
4 結果
5 考察
 5.1 感情次元における感情カテゴリ
 5.2 感情空間上における感情カテゴリ

14節 発話者の覚醒度評価のための音声信号分析技術
1. 音声信号に存在するカオス論的特徴量の発見
2. 発話音声から算出する指標値
 2.1. 最大リアプノフ指数からCEm/M
 2.2. CEMの性質
 2.3. CEMと覚醒度の相関を検証した実験とその結果
3. CEMによる日常的な覚醒度の評価
 3.1. 第3者により収録された音声データの分析
 3.2. スマートフォンにより収録した音声データから
 3.3. CEMの可能性

 

◇第3章 マルチモーダル感情解析とAI活用術◇

1節 マルチモーダル感覚情報処理の脳機能計測
1. マルチモーダル感覚情報処理に関する知見
 1.1 大脳の構造と感覚機能
 1.2 マルチモーダル感覚情報処理の神経基盤
 1.3 マルチモーダル感覚情報処理に関する原則
2.脳機能計測手法
 2.1 電磁気計測手法
 2.2 代謝計測手法
 2.3 マルチモーダル感覚情報処理と脳機能計測手法
3. マルチモーダル感覚情報処理の研究事例
 3.1 感覚間の一致と不一致の早期検出とそのメカニズム
 3.2 左右反転聴空間における視聴覚統合

2節 言語・音声・顔表情・脳波を総合利用した感情測定システム
1.はじめに
2.先行研究
 2.1 MELD
 2.2 MuSe: a Multimodal Dataset of Stressed Emotion
 2.3 IEMOCAP
 2.4 CMU-MOSEI
 2.5 注意機構に基づく特徴量融合による顔および音声特徴を用いたマルチモーダル感情推定
 2.6 音声・テキスト・表情・動作のマルチモーダル感情推定
 2.7 IEMOCAPやMELDデータセットを比較した研究
 2.8 マルチモーダル感情推定における非接触技術
 2.9 生体信号による感情推定の精度向上の可能性
3.感情ラベル付きカウンセリングマルチモーダルデータセット
 3.1 マルチモーダルデータの収集方法
 3.2 アノテーションを行うための前処理(匿名化処理)
 3.3 マルチモーダル特徴量の抽出
 3.4.感情ラベルのアノテーションと評価
4.データセットの分析
 4.1 モダリティごとに感情推定した結果とアノテーションされた感情との相関分析
 4.2 特徴量間の相関分析
 4.3 特徴量とストレスレベルの相関分析
 4.4 特徴量と感情との相関分析
4.5感情とストレスレベルの相関分析
5.モデル構築と評価
 5.1 感情推定モデルの構築
 5.2 感情推定モデルの評価

3節 マルチモーダル情報の解析と精神状態推定への応用
1.マルチモーダル情報の抽出と統合
2.精神状態の推定
 2.1 認知症
 2.2 自閉スペクトラム症
 2.3 感情の推定
  2.2.1 ソーシャルスキル訓練
  2.2.2 認知行動療法
4節 感性・感情・印象の定量化、モデル化と製品開発への応用
1.知的メンタリングシステム
2.機械学習を用いた心的状態の推定
 2.1 学習に関わる多面的情報の取得
 2.2 DNNを用いた心的状態推定機構の構築
3.心的状態のリアルタイム推定システムの構想と課題
4.学習時の心的状態に関する知識記述(20)
5.まとめ

5節 マルチモーダル生体信号からのユーザ行動モデリング
1. はじめに
2. 最適な覚醒を維持する仕組みと路線追従課題
3. 実験1: 覚醒度の生理的変化
 3.1 方法
  3.1.1 参加者
  3.1.2 課題設定
  3.1.3 生体計測
 3.2 結果
4. 実験2: 覚醒度推定に基づくリアルタイムフィードバックの検証
 4.1 方法
  4.1.1 参加者
  4.1.2 覚醒度推定モデルと不注意率
 4.3 結果
5. 示唆

 

◇第4章 感情センシングの応用事例◇

1節  生体情報による感情センシング〜オンライン対話における感情推定
1.提案システムの概要
2.心理物理学の枠組みに基づいた心的状態センシング
3.社会実装へ向けた課題
4.おわりに

2節 心地よさの計測、数値化と製品開発への応用
1.感性工学とは?
2.労働者用インソール「まめったぃ」の共同開発
3.寝姿勢と寝心地と寝具特性

3節 MRシステムを用いた継続作業時の不快感の生理指標による評価と推定
1. 生理指標を用いた不快感測定に関する先行研究
2. MRシステムを用いた継続作業時の不快感研究
 2.1 実験刺激
 2.2 実験環境
 2.3 評価指標
  2.3.1?主観評価指標
  2.3.2?客観評価指標
 2.4 実験手続き
 2.5 実験結果
  2.5.1 主観指標
  2.5.2 客観指標
3. MRシステムを用いた継続作業時の不快感予測
 3.1 モデル・データ
 3.2 結果
 3.3 考察
4. 実験から得られた主な知見

4節 生体情報を用いた運転時の感情推定とその評価
1.はじめに   
2.提案
 2.1 目的
 2.2 概要
 2.3 システム概要
 2.4 生体計測による感情推定
3.評価実験1
 3.1 概要
 3.2 実験環境
 3.3 実験手順
 3.4 実験結果および考察
4.評価実験2
 4.1 実験1からの改善点
 4.2 実験手順
5.分析
 5.1 分析手法の概要
 5.2 単回帰分析
 5.3 考察
 5.4 クラスタ分析
  5.4.1分析概要
 5.4 主成分分析
 5.5 iiSAと生体感情の比較
 5.6考察
6.課題
 6.1 計測方法についての課題
 6.2 シミュレータの課題
 6.3 実験協力者についての課題
7.まとめ

5節 座圧測定と分析による感情状態推定の可能性
1.座圧測定の利点と取得されるデータ
2.座圧測定と分析による身体状態推定
3.座圧測定と分析による感情状態推定

6節 脳波計測、解析技術の解説と精神的疲労、ストレス評価への応用可能性
1.疲労とは何か?
3.1 脳波計測
3.2 脳波解析
3.脳波計測と解析
4 疲労評価の応用可能性

7節 感情の色彩化とユーザの閲覧行動に基づく感情センシング
1. はじめに
 1.1. 研究背景と目的
 1.2. 関連研究
2. 飲料購入システムの構築
 2.1. 概要
 2.2. 対象飲料の選定
 2.3. 飲料画像の生成
 2.4. システムの構築
 2.5. 保存データと視線の可視化
3. 購買活動調査の実施
 3.1. 実験の概要と手順
 3.2. 実験結果と考察
  3.2.1. 仮説
  3.2.2. アンケート評価項目
  3.2.3. 各エリアに対する注視
  3.2.4. 視線の動き
4. まとめ

8節 視線情報を用いた香りの効果の評価および可視化
1.音楽および集中レベル評価に関する従来研究
2.本研究の目的
3.実験方法
4.分析・評価方法
5.結果
6.結論

9節 ロボットの生理現象表現によるコミュニケーションへの応用
1.はじめに
 1.1 ロボットの存在性の変化と受容
 1.2 真実味:生物らしさと生理現象
2.生理現象の表現の実装と効果1: 発汗・鳥肌
 2.1 背景
 2.2 ロボットの構成
 2.3 実験と結果
   2.3.1 単一の生理表現と従来表現モダリティを用いた実験
   2.3.2 複数の生理表現の表現量の組み合わせに関する実験
3.生理現象の表現の実装と効果2: 呼吸における多様な表現
 3.1 背景
 3.2 ロボットの構成
 3.3 実験と結果

10節 人工知能による感情生成モデルの構築とロボット開発
1. 情動行動生成における実時間対応モデルとロボットへの実装
 1.1 開発の背景
 1.2 感情生成モデル
 1.3 ロボットへの実装に向けた実時間対応の情動行動生成システム
 1.4 ラバン理論に基づく人型ロボットの情動行動生成
 1.5 成果と課題
2.気質に基づくロボットの感情表出と行動決定
 2.1 開発の背景
 2.2 外部環境を考慮した個性形成モデル
 2.3 感情生成シミュレーション
 2.4 ロボットエージェントへの実装
 2.5 成果と課題
3.感情によりミスをする不完全なロボット
 3.1 開発の背景
 3.2. 感情状態によりミスを犯すロボットとのインタラクション
 3.3 内部状態を考慮した行動選択モデル
 3.4 被験者実験によるロボットの印象調査
 3.5 成果と課題


11節 非接触センサを用いた感情推定への応用可能性
1.はじめに
2.感情推定技術に関する研究事例
 2.1 生理計測による感情状態推定
 2.2 行動計測による感情状態推定
 2.3 心理計測による感情状態推定
 2.4 環境センシングによるアプローチの登場
 2.5 情動状態推定技術の応用例
3.非接触環境センシングによる情動状態推定技術
 3.1 実験概要と環境設定
 3.2 環境データの収集
 3.3 感情状態のラベリング
 3.4 モデル構築
4.結果と考察
 4.1 総合的性能評価
 4.2 センサ数およびタイムステップ数の影響
 4.2 モデル別性能比較と解析
 4.3 エラー傾向の分析
 4.5 モデル設計への含意と拡張性
5 結論

12節  ChatGPTを搭載したヴァーチャルアバターとの会話からの感情分析
1.生成AIとのコミュニケーション
2.音声会話が可能なヴァーチャルアバターの構築
3.疑似面接実験から感情を分析する

13節 人工知能・機械学習による人の感性・感情の評価と予測
1.はじめに
2.感情の評価および予測モデルの構築手順
3.生成AI 利用の可能性

 

感情 推定 生体計測 書籍