Focus on the News

時空間の壁を超えて自然に体験を創出・共有できる世界の実現に向けた研究開発の開始

PDFダウンロードPDFダウンロード

NTTは、遠隔地への通信や、VR/ARなどによる仮想世界とのインタラクションにおいて、伝送や処理等における物理的遅延を極限まで減らすだけでなく、人が感じる遅延による違和感と、脳内予測のメカニズムを解明し、感覚的遅延までをもゼロにするゼロレイテンシメディア技術の研究開発を推進していきます。ゼロレイテンシメディア技術のユーザエクスペリエンスの探索に向け、同様にゼロレイテンシ技術の研究に取り組んでいるソニー鰍ニ研究開発の交流を開始しています。

背景および目的

VR/AR技術の進展はめざましく、実世界をモデル化しサイバー空間で精密に再現された仮想世界と実世界が融合した空間において、リアルを超える体験をすることが可能になってきています。しかしながら、実世界と仮想世界の間には通信による“遅延”という時間の壁が存在し、全く違和感なく、自然なインタラクションで実世界と仮想世界とをシームレスに体感するまでには至っていません。また、仮想世界を介して離れた場所にある実世界間をつなぐことが可能になってきていますが、伝送や処理等における物理的遅延はユーザ間での自然な体験の共有における大きな課題となっています。
NTTでは、短期的な未来の状態予測技術と生成モデルを用いた特徴抽出技術により、人が感じる遅延による違和感と、自ら行う脳内予測のメカニズムを解明し、そのメカニズムに即した情報提示を行うことで、遅延を感じさせない自然な体験の創出・共有を実現するゼロレイテンシメディア技術の研究開発に取り組んでいます()。

図 ゼロレイテンシメディア技術の研究開発

図 ゼロレイテンシメディア技術の研究開発

ゼロレイテンシメディア技術の概要

(1) 感覚的遅延のメカニズムの解明
人の感じる遅延には感覚によってさまざまな時間軸を持つといわれています。私たちの脳は五感を駆使して世界を理解しようとしており、これらの感覚は各々が独立に働いているわけではなく「視覚-触覚」、「聴覚-視覚」などの組み合わせによって遅延の違和感の時間軸も異なることが分かっています。
人は「目に見える」「耳できこえる」世界をそのまま知覚できているわけではなく、脳の内部では得られた刺激情報から内部モデルを生成し、現在の運動や行動を使って将来の刺激を予測しています。そこで、単純な物理モデルのみならず、周囲の状況や行動パターンなど、さまざまな情報から感覚的遅延のメカニズムを解明し、遅延から生じる違和感のない、より自然な予測技術を構築するべく、研究開発を進めていきます。
(2) 脳内の予測モデルの確立
人は脳の内部モデルを用い、外界からの刺激を元に外界世界をシミュレートしており、周囲の状況から次に起こり得る状態を予測しているといわれています。その際には、すべての状況を再現シミュレーションして予測しているのではなく、重要かつ特徴的な情報のみに注目し、必要な情報だけを再現シミュレーションしているといわれます。
このように現実の世界と、人の脳の内部では必ずしも同じ時間軸を持っているわけではありません。そのため、人の脳の内部では現実との遅延がゼロではなく、さらに先読みをした時間との遅延をゼロにする必要があると考えられます。
この予測のメカニズムを追求するべく、人が注視する特徴的な情報を抽出し、人の脳の内部で予測している世界との感覚的遅延の解消に向けた研究開発を進めていきます。

今後の展開

今後、NTTの研究開発技術を活用し、ゼロレイテンシメディア技術の各技術要素の確立を進めるとともに、実フィールドにおける検証、ビジネス・サービス化に向けた検討をコラボレーションパートナーとともに行っていきます。

◆問い合わせ先
 NTT広報室
  TEL 03-5205-5550
  E-mail ntt-cnr-mlhco.ntt.co.jp
  URL https://www.ntt.co.jp/news2019/1911/191111c.html

研究者紹介

ゼロレイテンシメディア技術の向かう世界観

松林 達史

NTTサービスエボリューション研究所
主任研究員

松林達史

「ゼロレイテンシメディア技術」の研究テーマは2019年の7月に立ち上げ、テーマ発足当初からかかわることになり、私自身、毎日夢の中でもゼロレイテンシメディア技術のめざす世界観を考え悩んでいました。当時、ちょうど小学生の息子と一緒に読んでいた漫画の中で、主人公が時間を止める相手と戦うシーンがあり、相手のモーションから先読みをして戦う様から大きなヒントを得て、真夜中に起きてノートにいろいろと書きとめました。相手が止める時間が分かっていれば一手先を読めば良いのですが、一方で人は先を読まれたら、さらにその先を読むため、単純な予測は成り立ちません。実際の時間軸と頭の中で考えている時間軸は同じ世界線を持っていないのもヒントになりました。さらにその主人公は、行動すること自体に遅延があるために、究極的には無意識で体が勝手に動くという戦い方をします。ここにも大きなヒントがあり、人間の脳内の信号処理の時間さえも超えようとするわけです。
IOWN構想の中でも、デジタルツインと低遅延化は大きな課題とされていますが、特に「ナチュラル」というキーワードが注目され、人間が人間でありながら人間を超越してゆく世界観として、人間の脳内感覚器を考えた予測や遅延の知覚メカニズムの解明は重要な研究課題だと考えました。
この研究テーマに関しては、ソニー鰍ニ研究開発の交流を開始しています。漫画からヒントを得た私の話なども真剣に議論させてもらっており、非常に有意義な議論を展開させていただいています。

ページトップへ