独自マイクによる音声サンプリングおよびそれによる声質変換

【豊橋技術科学大学 情報・知能工学課程】 星野 凌我

本プロジェクトでは、ある人の声を別の人の声に変換する「声質変換」のためのハードウェアおよびソフトウェアを開発する。
声質変換という操作は「変換先話者が発する音素」を「変換先話者の声質」で再現することに他ならず、それは声質変換における最も重要なタスクが「声質」と「音素」という二要素の分離にあることを意味する。メルケプストラム抽出と動的時間伸縮の併用をはじめとした古典的手法や、深層学習を用いる新たな手法など様々な手法があるが、品質が十分でなかったり莫大な計算資源を必要としたりするなどの課題が残っており、声質変換が社会に普及するには未だ至っていない。
本プロジェクトではこれらの課題に対し、独自のマイクを用いることで解決を図る。とくに古典的手法で生じがちな子音やささやき声での誤変換を効果的に、個人で利用可能なレベルの計算資源で解決できる見込みである。本プロジェクトで提案する手法により高品質な声質変換が可能となることで、人々は自由な声で話すことができるようになる。この技術に加え、モーションキャプチャ技術などの自由な外見を得る技術を用いることで、仮想現実空間上でより自由な活動も可能になると考えられる。

開発成果の詳細はこちら

この開発成果情報をシェアする

関連記事

注目の未踏開発情報

  • 0
  • 0
  • 0
  • 0
  • 0
上田 裕己

開発者が行ったソースコード修正作業を学習し代行するボット

  • 0
  • 0
  • 0
  • 0
  • 0
太田 悠自

能動学習に対応したデジタル病理画像アノテーションソフトの開発

  • 0
  • 0
  • 0
  • 0
  • 0
中岡 典弘

カスタマイズ可能なネットワーク型IDPSをFPGA実装するためのソフトウェア

  • 0
  • 0
  • 0
  • 0
  • 0
櫻井 碧

生命情報解析向けインタプリタを搭載した秘密計算用クラウド

未踏事業 SPECIAL

未踏SPECIAL スペシャルインタビュー
未踏SPECIAL 座談会
未踏SPECIAL 事業概要紹介

年度別で選ぶ

タグから選ぶ