芸術工学研究院／牧野豊 准教授
研究内容
本研究の目的は、変性意識体験の再現や機械学習による誤認やバイアスなどの不確実性要素を利用した知覚置換システムを開発し、それを装着した人間に誘発される知覚体験の作品としての提示である。初年度には視覚情報処理システムを開発のため、変性意識体験で見られるVisual Driftingという物や風景が歪む現象を再現をおこなった。実装にはTouchDesignerを用い、ステレオカメラからの映像を点群に変換し、ノイズなどにより揺らぎを与えた上でヘッドマウントディスプレイ（HMD）へリアルタイムで映し出すことが可能となった（図1）。
続きを読む
最終年度には、聴覚情報処理システムの開発を中心に行い、フランス国立音響音楽研究所（IRCAM)で開発されたRealtime Audio Variational autoEncoder(RAVE)という音色変換の機械学習モデルを用いたシステムの開発を行った。日本語、英語、および環境音を日本語または英語コーパスによって学習させたモデルで変換させることで、それぞれの言語での抑揚やリズムなどその言語らしさを保持したまま、意味を持たない言語らしき音声の生成する音声合成システムとして完成した（表１）。これらを統合した知覚置換システムは、ヘッドマウントディスプレイ（HTC Vive Pro 2）、ステレオカメラ（StereoLabs ZED Mini)、ノイズキャンセリングヘッドホン（ose QC2）、およびバイノーラルマイク（Primo EM172）により構成され（図2）、著者の体験型作品である「Confabulation」に組み込まれた。
表１ 要素音から目的音への変換
研究成果
今回開発した聴覚情報処理システムと多様な言語コーパスの学習データの組み合わせることにより、さらに複雑な生成的音声合成が可能となるとともに、携帯型であるため日常の環境内での体験型作品としての提示が可能となった。また、従来の精神医学や認知科学分野での幻覚体験の研究では、患者本人による言語的な記述や、スケッチなどに頼らざるを得なかったが、このシステムにより主観的体験を共有することが可能となる。最終年度末には研究協力者の徳井直生、鈴木啓介両氏を招き九州大学大橋キャンパスにて最終報告会とともに機械学習を用いた映像・音響信号合成技術の芸術表現および認知科学への応用についてシンポジウムを開催しプロジェクトを完了した。
本研究の今後の展望
今後は、研究協力者として参加するJST CREST「知覚と感情を媒介する認知フィーリングの原理解明」（研究代表者：長井志江）および学術変革領域研究（A）公募研究（研究代表者：鈴木啓介）にて主観的幻聴体験の研究・作品制作を継続するとともに、主観的幻聴体験の共有方法および体験に多様性をもたらす芸術表現方法を探究する。 研究協力者鈴木啓介(北海道大学人間知・脳・AI研究教育センター、准教授）徳井直生（株式会社Qosmo、CEO）宮下恵太（九州大学芸術工学研究院、テクニカルアシスタント）
融合分野
芸術表現、人工知能、意識科学、身体性認知科学
キーワード
幻視、幻聴、変性意識体験、機械学習
関連する研究者情報
関連リンク
