ページの先頭です。
コンテンツエリアはここからです。

NTT持株会社ニュースリリース

2018年11月26日

日本電信電話株式会社

超高臨場感通信技術「Kirari!」の研究開発が進展
〜中継先の擬似3D表示における奥行き知覚手法を開発〜

 日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:澤田純、以下NTT)は、2015年2月に超高臨場感通信技術「Kirari!」のコンセプトを発表※1し、あたかもその場にいるかのような超高臨場な体験をあらゆる場所でリアルタイムに感じることができる世界をめざし、研究開発を進めてまいりました。この度、「Kirari!」のメディア処理技術をさらに進展させ、リアルタイム中継先で擬似3D表示により奥行き方向の動きを知覚させる手法を開発しました。
 本研究開発成果は、2018年11月29日〜30日に開催する「NTT R&Dフォーラム2018(秋)」のKirari! for Arenaの展示ブースにてご覧いただけます。また、本フォーラム内「Kirari!ホール」において、距離を超え、時間を越え、目の前の空間を彩り華やかに創り出す「Kirari!」の世界およびそれを支える技術を、演出家とのコラボレーションにより、一期一会な空間としてご体感いただけます。

(参考)

「NTT R&Dフォーラム2018(秋)」公式サイト:
https://labevent.ecl.ntt.co.jp/forum2018a/info/index.html 
Kirari! (NTT×イノベーション サイト):
http://www.ntt.co.jp/activity/jp/innovation/kirari/
Kirari!(2020.NTTオフィシャルサイト):
https://2020.ntt/jp/innovation/technology/01.html 
https://2020.ntt/en/innovation/technology/01.html 

1.研究開発成果について

 超高臨場感通信技術「Kirari!」は、人や空間を、離れた場所に超高臨場かつリアルタイムで再現する通信技術です。これまでに、中継元で撮影した映像から選手などの注目する被写体を抽出して伝送、中継先において擬似3D※2で表示することで、被写体がまるでそこにいるかのような体験が可能であることを実証してきました。
 今回、中継元の被写体の映像と3次元位置情報を処理・伝送すると共に、中継先の擬似3D表示において被写体の奥行き方向の動きを知覚させる手法を開発しました。これにより、中継先において被写体が3次元的に動いているような視聴体験を実現しました。

2.技術のポイント

<1>3次元実空間映像定位技術の開発

 擬似3D表示では被写体の2次元映像を空間に立体的に浮かび上がったように表示できますが、奥行き方向の表示位置は固定であり、被写体を奥行き方向に動かして表示することができません。そこで、絵画の遠近法を参考に、中継先の擬似3D表示において、被写体映像の表示位置と大きさを中継元の被写体の3次元位置情報を用いリアルタイムに調整することで、被写体が任意の3次元の位置に定位するように知覚させる手法を開発しました。
 中継元の被写体の3次元位置情報をレーザー光を用いた奥行センサにより取得し、さらに被写体を撮影するカメラの位置と傾きをもとに3次元位置情報をリアルタイムで補正(キャリブレーション)し中継先に伝送、複数の視点で被写体が3次元の位置に定位して知覚できるようになりました。

<2>リアルタイム被写体抽出技術の向上

 擬似3D表示により被写体が空間に立体的に浮かび上がって見えるように表示するためには、映像中の被写体を背景と分離して抽出する必要があります。従来のリアルタイム被写体抽出技術※3では、背景の一部に被写体と同じ色の部分があった場合に、被写体を背景であると誤認識し抽出できないことがありました。そこで、機械学習により、色とは異なる情報として被写体の形状を学習させることで、背景の一部に被写体と同じ色がある場合にも抽出できるようにしました(図2)。

(図1)研究開発成果の概要
(図1)研究開発成果の概要
(図2)リアルタイム被写体抽出技術の概要
(図2)リアルタイム被写体抽出技術の概要

3.今後の展開

 さらなるKirari!の研究開発として、各要素技術の高度化と経済化を進めます。高度化については、時空間をリアルに伝送・再現するだけでなく、リアルを超える感動を演出するICT技術の開発にも取り組みます。一方経済化については、現場(センシング)―中継(処理・配信)―再現(提示)のすべての処理プロセスでのコスト低減に取り組みます。
 これらの取り組みにより、スポーツ・エンターテイメント分野でのライブビューイング、エンタープライズ分野での遠隔店舗窓口などへの展開を視野に、サービス化に向けた取り組みをより一層加速してまいります。

(図3)擬似3D表示について
(図3)擬似3D表示について

本件に関するお問い合わせ先

日本電信電話株式会社

サービスイノベーション総合研究所
企画部広報担当
E-mail:svkoho-ml@hco.ntt.co.jp
Tel:046-859-2032

ニュースリリースに記載している情報は、発表日時点のものです。現時点では、発表日時点での情報と異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。

NTT持株会社ニュースリリースインデックスへ

ローカルナビはここからです。
  • NTTグループの情報はこちらからもご覧いただけます
  • NTT広報室 on twitter NTTグループの旬な情報をチェック! Facebook NTTグループ 公式フェイスブックページ(別ウインドウが開きます)
フッタエリアはここからです。