ページの先頭です。
コンテンツエリアはここからです。

NTT持株会社ニュースリリース

2017年2月13日

イマーシブテレプレゼンス技術「Kirari !」の研究開発が進展!
〜 屋内競技を高臨場に伝送可能な技術を開発 〜

 日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:鵜浦 博夫、以下、NTT)は、あたかもその場にいるかのような超高臨場な体験をあらゆる場所でリアルタイムに感じることができる世界を目指すイマーシブテレプレゼンス技術「Kirari!」のコンセプトを2015年2月に発表※1しました。2016年2月には、個人競技(選手単体)の擬似3Dリアルタイム中継が可能となるレベルまでKirari!の技術開発が進展したことを発表※2し、その後も技術開発を進めて参りました。

 この1年間の技術開発の成果は、下記の4つとなります。

開発成果<1> 被写体抽出環境に対して頑健に被写体を抽出する技術、及び、被写体を精緻に抽出する技術を開発
開発成果<2> 視野角180度以上の複数4K映像をリアルタイムにつなぎ合わせるスティッチング処理技術を開発
開発成果<3> 映像・音声と共に空間的な情報を低遅延で同期伝送する技術を開発
開発成果<4> 音が飛び出し、かつ、広範囲な受聴エリアに対応した高臨場音像定位技術を開発

(図1)Kirari!の技術要素と今回の開発成果のポイント(図1)Kirari!の技術要素と今回の開発成果のポイント

1.Kirari!のこの1年間の開発成果詳細

 Kirari!による擬似3Dリアルタイム中継実現に向けた主な技術課題は、下記となります。

  1. (1)競技会場における試合の模様からリアルタイムで選手の映像を切り出す技術の精度向上
  2. (2)切り出された選手の映像に加え、リアルタイムに合成した競技空間の映像、競技や歓声などの音声情報、映像・音声以外の様々な情報を同期して伝送し、遠隔地における臨場感の高い再現

 この1年間の技術開発の成果として、(1)については被写体抽出環境に対する頑健化、および、被写体切り出し後の処理の精緻化を実現しました。また、(2)については、競技空間の映像に対してリアルタイムでの合成範囲の拡大、メディア同期伝送の低遅延化、遠隔地での音響再生の立体化を実現しました。今回開発した成果のポイントは以下となります。

開発成果<1> :任意背景リアルタイム被写体抽出技術

 奥行き情報の活用と色学習処理により、照明等がコントロールされていない環境においても頑健に被写体を抽出する技術を開発しました。この技術により、実競技会場において、擬似3D表示をしたい選手の映像を安定的にリアルタイムで切り出すことができるようになりました。
 また、細部まで精緻かつ自然に被写体を抽出する技術も開発しました。この技術により、伝統芸能などにおいて、演者を精緻に切り出すことができるようになりました。

開発成果<2> :超ワイド映像合成技術

 視野角180度以上かつ縦横方向に複数配置した4Kカメラ映像をリアルタイムに合成(横8×縦1、横4×縦2など)する技術を世界で初めて開発しました。この技術により、観客席も含めた広大な競技会場全体の映像など、包み込まれるかのような高精細サラウンド映像をリアルタイムに作ることができるようになりました。

開発成果<3> :超高臨場感メディア同期技術(Advanced MMT※3

 映像分割・並列処理により送出処理時間を低減し、遅延時間を大幅に削減、かつ、再生機器の遅延まで含めた同期合わせの技術を世界で初めて開発しました。この技術により、遠隔講演中継において、質疑応答など双方向のコミュニケーションを行うことができるようになりました。

開発成果<4> :臨場感デザイン技術(高臨場音像定位技術)

 スピーカーを置いていない客席近くにまで音が飛び出し、かつ、広範囲な受聴エリアに対応した高臨場音像定位技術を開発しました。映像の任意の位置に音源を生成するこれまでの技術に加え、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感を感じることができるようになりました。

2.今後の展開

 さらなるKirari!の研究開発として、超高臨場感ライブ中継における臨場感や一体感を高めるための取り組みを推進します。
 また、スポーツ分野のパブリックビューイングだけではなく、伝統芸能やコンサートといったエンターテイメント分野でのライブビューイング、セミナーや講演のライブ中継などエンタープライズ分野への展開も視野に、サービス化に向けた取り組みをより一層加速してまいります。

 なお、今回、研究開発を実施した技術は、2017年2月16日〜17日に開催する「NTT R&Dフォーラム2017」にてご覧いただけます。スポーツ分野へのKirari!適用イメージとして、公益財団法人 全日本柔道連盟の協力のもと、柔道の超高臨場感パブリックビューイングのステージを予定しています。また、エンターテイメント分野へのKirari!適用イメージもご覧いただく予定です。
 「NTT R&Dフォーラム2017」サイト https://labevent.ecl.ntt.co.jp/forum2017/info/ 

  • ※12015年2月18日報道発表 http://www.ntt.co.jp/news2015/1502/150218b.html
  • ※22016年2月16日報道発表 http://www.ntt.co.jp/news2016/1602/160216b.html
  • ※3MMT(MPEG Media Transport)
    国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEGで制定するメディアトランスポート規格。IPを含む多様なネットワークに柔軟に対応できるトランスポート規格を目指し、2009年より検討開始。2014年6月、コアパート(23008-1)が国際標準化。

本件に関するお問い合わせ先

日本電信電話株式会社

サービスイノベーション総合研究所 企画部広報担当
E-mail:randd@lab.ntt.co.jp
Tel:046-859-2032

Innovative R&D by NTT
NTTのR&D活動を「ロゴ」として表現しました

ニュースリリースに記載している情報は、発表日時点のものです。現時点では、発表日時点での情報と異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。

NTT持株会社ニュースリリース インデックスへ

サブコンテンツエリアはここからです。
  • NTT持株会社ニュースリリース内検索

 年   月 〜
 年   月 

  • NTT持株会社ニュースリリース
  • 最新ニュースリリース
  • バックナンバー
  • English is Here
  • NTT広報室 on twitter NTTグループの旬な情報をチェック!
  • Facebook NTTグループ 公式フェイスブックページ(別ウインドウが開きます)
フッタエリアはここからです。