こんにちは。pythonプログラミング4年のFukufukuです。
以下のような開発を行ってきました。
・ 会話音声の感情解析
会話を含む音声をテキスト化し、BERTモデルを活用してテキストの感情分析・可視化を行うウェブアプリケーションをPythonを使って開発した。具体的には、日本語評価極性辞書を学習データとして使用し、会話内容がポジティブ・ニュートラル・ネガティブかの3種類の感情を推定する。この結果は円グラフで視覚的に示し、さらにword cloudや共起ネットワークといった方法で詳細な情報を可視化することが可能になっている。このアプリケーションは、現在でも特に社内インタビューなどの際に活用されている。
・ リアルタイム感情推定の研究
12人の被験者（17歳から53歳までの無差別なサンプル）を対象に、5種類の感情（快・高活性、快・低活性、中性、不快・低活性、不快・高活性）を想起させる動画の視聴体験と心拍の関係性についての研究を行った。視聴中の心拍数は、心拍センサー(polar H10)を使用して計測した。得られたデータは、pytorchを使用し、11層のディープラーニングモデルで学習を行った。その結果、検証データの正解率は71.4%となった。このモデルを使用し、10秒間の脈拍データからわずか2秒程度で感情の推論結果を得られるリアルタイムのソフトウェアの開発を行った。
・ ダンスイベントでの心拍データ解析
2023年6月に「あなたの心が感じることが見えたら、一緒に踊ろう」というテーマで「Boiling Mind vol.3」[6]というイベントが開催された。このイベントは、ダンスと感情の関連性を探るもので、参加者には株式会社e-lamp.が開発している心拍提示イヤリング型デバイスと心拍センサー「polar verity sense」の着用を求めた。この心拍データを元に観客に自身の心拍が見えている状況での心拍同期の分析を行なった。結果は近日中に論文投稿予定である。