ニコニコ生放送のお知らせ

　今回発表したコンセプトならびに関連技術は、「NTT R&Dフォーラム2015」でも紹介するとともに、一部はニコニコ生放送「NTT R&Dフォーラム2015 直前大特集 〜Road to 2020〜」でも配信します。
　＜放送日時＞　http://ch.nicovideo.jp/ntt-RD 
　2015年2月18日（水）午後8時半〜午後10時半　（NTT武蔵野研究開発センタより生中継）

NTT R&Dフォーラム2015 「Co-Innovation 〜豊かで快適な2020をめざして〜」の概要

【開催期間】　2015年2月19日（木）〜2月20日（金）午前10時〜午後5時
【開催場所】　NTT武蔵野研究開発センタ
【ホームページ】　http://labevent.ecl.ntt.co.jp/forum2015/info/  

1．訪日外国人などに向けた新たな「おもてなし」

　2020年に向け、少子高齢化や訪日外国人の増加などが進展する社会において、すべての方々の状況や意図を理解して能動的に働きかけて、「おもてなし」のコンセプトを具現化し、関連技術を開発しました。

（1）「いま見えるモノ」から広がる観光ナビゲーション
〜被写体識別技術を用いたナビゲーションサービス〜

　スマートフォンやグラス型デバイスを通じて、利用者が見ている風景映像から、高精度に複数のモノ（3次元の物体など）を認識し、その中から利用者の属性（国籍、言語、性別等）や状況（位置、行動の履歴等）に応じた情報を抽出し、利用者の状況に応じた「観光ナビゲーションサービス」を実現します。

特徴

• NTTの研究所が開発した3次元物体を高精度に認識する『アングルフリー物体検索技術』によって、見る角度が異なっていても、周囲にある立体物などを高精度に認識し、関連情報を提示します。
• 3次元物体を認識するための参照画像データベースは、従来の10分の1に削減できます。
• 利用者の属性（国籍、言語、性別等）や状況（位置、行動の履歴等）を把握し、類似属性を持つ他の利用者の行動履歴・評価履歴などに基づき、パーソナライズされた有用な情報を提供します。

主な利用シーン

• 観光地での外国人旅行者や観光客向けの、文化の違いを考慮したナビゲーションサービスの実現
• スポーツイベント等での、混雑状況や利用者の好みに応じた会場案内
• 展示会などでの解説によるサポート、商店街の店舗案内

（2）見知らぬ場所でも看板を写せば目的地までご案内
〜リアルタイム多言語翻訳技術とユーザ状況推定技術を組合せた移動支援サービス〜

　2020年に向けて増加が見込まれる訪日外国人に対し、安心・快適な移動をサポートします。例えば、駅構内での乗り換えで迷ったときや混雑・事故などに遭遇したときに、ユーザそれぞれの状況に応じて、目的地へ行くために必要な情報を、画像認識や位置推定の技術を駆使して選別し、日本語の情報をリアルタイムに翻訳して英中韓の3言語でユーザの端末に提示します。

特徴

• どちらに行けば良いか迷ったときには、スマートフォンなどの端末を案内看板にかざすだけで、すぐに自分に必要な情報が翻訳されて表示されます。
• 混雑や遅延、事故など、翻訳文が事前準備されていないような突発的な情報も、翻訳エンジンにより、リアルタイムに翻訳されます。
• 画像認識技術と位置推定技術を併用することで、より高精度で緻密なナビゲーションが可能となります。

主な利用シーン

• 乗り換えや出口案内の看板を写すと、目的地に行くにはどちらに進めばよいか案内します。
• 間違った方向に進んだときの警告や緊急アナウンスをプッシュ表示します。
• 構内設備を案内するピクトサインを写すと、その人に必要な詳細情報を提供します。
  （例： 介助用設備、子ども用設備の有無　など）

（3）あなたに寄り添う「ものしりぬいぐるみ」
〜自然な対話による情報提供技術〜

　自然な音声対話や、ユーザの会話から意図を適切に理解して、自然な説明文で情報を提供してくれる「ものしりぬいぐるみ」を開発しました。2020年に向けて、観光シーンにおける「おもてなし」を実現可能とします。
　例えば、観光地では話しかければ観光名所の歴史などを解説してくれる「ガイド役」として、また、スポーツ会場では初めて目にする選手の情報を教えてくれる「解説者」として常にユーザの傍に寄り添い、様々な情報を提供してくれます。

特徴

• ユーザの意図をエージェントが理解し、自然な説明文で情報を提供します。
• 高性能な音声認識・合成技術により自然な音声対話を実現します。
• 声やジェスチャ等の感情表現動作により、状況に応じて能動的に人に働きかけることで、人との共感を実現します。

主な利用シーン

• 観光地では話しかければ観光名所の歴史などを解説してくれる「ガイド役」
• スポーツ会場では初めて目にする選手の情報を教えてくれる「解説者」
• 介護施設や自宅でも、能動的に共感を示してくれる「友達役」

（4）ソーシャル情報で進化するナビゲーション
〜ダイバシティ・ナビゲーション〜

　従来にはない地下街・屋内地図や1m程度の高精度測位技術を前提に、車椅子の走行履歴やセンサ情報・段差などのソーシャル情報により進化する地図基盤を提供し、車椅子・高齢者などのユーザ属性に応じた適切なナビゲーションやユーザの行動目的に応じて変化するナビゲーション等の各種サービスを実現します。
　なお、ダイバシティ・ナビゲーションのコンセプトや「東京駅周辺高精度社会プロジェクト検討会」 における実証実験の内容は、2015年1月15日に報道発表しています。

特徴

• マルチモーダル・ロボット・インタラクション技術（画像認識、音声認識や各種センサ情報を組合せて、周囲の環境やユーザの操作状況に応じたロボットと人とのスムースなやり取りを可能にする技術）を用いた対話エージェント機能により、外出時にバリアの詳細情報やお気に入りの場所に関する情報を収集・共有します。
• 従来にはない地下街・屋内での複数階の透視表示や、ユーザの利用目的に応じて分かり易く地物を特徴化するパラメトリック地図技術をベースに、バリア情報等の解析から得られる、車椅子用ナビゲーション実現に必要な高付加価値情報を蓄積する進化型地図基盤を実現します。
• こうした対話エージェント機能や地図技術により、様々な人の行動範囲を広げ、今まで諦めなければならなかったことを一つでも多く克服できるようにサポートすることを目指します。

主な利用シーン

• 訪日外国人、車椅子等の方向けのダイバシティ・ナビゲーション
• 屋外から地下街・店舗内までのシームレス・ナビゲーション
• 将来的には、1m程度の高精度測位技術を活用した店舗内の商品棚や車内の座席までを案内するマイクロロケーションサービスを目指します。

（参考）2015年1月15日リリースhttp://www.ntt.co.jp/news2015/1501/150115a.html

（5）能動的かつインタラクティブな情報提供を実現
〜自然な音声対話が可能な「接客型デジタルサイネージ」〜

　ユーザが情報検索をするとき、従来のようにタッチパネルを何度もタッチする必要がなく、ユーザの発話から単語の組み合わせなど分析し、ユーザの要望する情報を検索・提示する、100dBの騒音下でも対話が可能な「接客型デジタルサイネージ」を開発しました。（2015年1月21日報道発表）

特徴

• ユーザが話す内容から要望を解釈し、ユーザが置かれた状況に応じてインタラクティブな情報提示を行います。
• 多言語統計翻訳プラットフォームと連携した多言語対応も実現できます。
• 固有表現抽出技術、タスク判定技術の活用により、対話ルール数の削減（従来に比べて約50％削減）を実現。

主な利用シーン

• 大型ショッピングセンターなどの商業施設、公共交通機関の案内所などで、ユーザをおもてなしします。

（参考）2015年1月21日リリース　http://www.ntt.co.jp/news2015/1501/150121a.html

（6）周囲の状況を即時に予測し集団を最良ナビでおもてなし
〜高度なデータ解析技術による人流データ解析〜

　屋内外の施設をまわるユーザが、安心・安全に移動できるよう支援するため、リアルタイムに観測された人流や交通流、イベント情報などから、近未来の人流・混雑度を予測し、集団全体が効率よく移動できるように誘導する技術の研究開発に取り組んでいます。2020年に向けて、このような人や交通の流れの最適化を目指す研究開発プロジェクト「himico」を開始します。（2015年2月18日報道発表）

特徴

• 「時空間多次元集合データ分析」によって、過去の一定期間のビッグデータから、数時間程度先に起こる事象の発生時期（時間）と場所（空間）を近未来予測します。
• 観測→予測→シミュレーションのサイクルをリアルタイムに反復することで、刻々と変化する人流を的確に誘導します。

主な利用シーン

• 空港からの電車の混雑度を予測し、混雑時は、シャトルバスを割り引き、増便し、誘導することで全体最適
• ランチ時間帯等のレストランの混雑度を予測し、空いているお店・時間帯にクーポン等で誘導
• いつ、どこで通信量が急増するかを予測・制御することで、スタジアムなど混雑する場所でもネットがサクサク

2．スタジアム内や遠隔地などでの新たな「スポーツ観戦」

　趣味趣向や状況に合わせて、快適なスタジアム観戦を可能とします。さらには、スタジアムだけではなく、世界中で感動が共有できるよう、新たな「スポーツ観戦」のコンセプトを具現化し、関連技術を開発しました。

（7）「この選手の情報を“今”知りたい」をかなえます！！
〜競技中の選手情報を把握可能な個人適応型スポーツ観戦補助サービス〜

　スポーツ観戦時の「この選手の情報を今知りたい！」を解決します。スマートデバイス上に、自分が興味を持っている選手の情報をお好みの言語で、タイミング良く提示します。また、観衆がアップロードしたコンテンツから、自分が興味を持っている選手の画像などを収集し、シーンごとに整理して提示します。さらには、アップロードされたコンテンツをアーカイブし、競技後も閲覧可能とします。

特徴

• ブログやSNSなどにアップロードされた映像や画像を自動的に収集する「CGMオートザッピング」機能により、観戦者がアップロードした映像や画像を自動的に収集できます。それらのメタ情報^※（時間情報など）やテキスト情報（書き込みのタイトルや内容）、映像の特徴等を手掛かりとして、選手ごとの映像を一元管理できます。

• ※伝送技術MMT(MPEG Media Transport)を活用

主な利用シーン

• ロードレース競技（マラソンなど）を観戦中に、他の場所を走っている選手を様々な視点から他の観戦者が撮影した映像をマルチアングルで視聴したり、目の前を通りすぎる選手の情報（ラップや過去の戦績など）をいち早く確認することができます。

（8）競技そのものをリアルタイムで世界に高臨場感配信
〜イマーシブテレプレゼンス技術のコンセプト Kirari!〜

　「イマーシブテレプレゼンス技術Kirari!」とは、NTTが開発した独自の次世代映像圧縮規格（HEVC）などと、新たに開発に着手した高臨場感メディア同期技術「Advanced MMT」を組み合わせて、選手の映像・音声のみならず、選手の置かれた空間や環境の情報を伝送し、伝送先においてプロジェクションマッピング技術で、音とともに3D再現する技術です。競技の映像／音声だけでなく、トップアスリートの競技そのものを再現し、会場を包む臨場感と感動も地方へ、そして世界の様々な場所にリアルタイムで届けます。（2015年2月18日報道発表）

特徴

• 映像・音声のみならず、被写体情報や将来的には空間・環境情報の伝送に資する超高臨場感メディア同期技術「Advanced MMT」によって、メインイベント会場の競技を地方、世界の都市に伝送します。
  
• 伝送先のサイズにフィットした情報を伝送し競技の様子を4K/8Kの解像度のプロジェクションマッピング技術により同期再現することで、平面の映像で味わえる臨場感を遥かに超える形で、あたかも目の前で競技が行われているように見えることを可能とします。

主な利用シーン

• ニューヨークの体育館で、北京の広場で、福岡の小学校体育館等で、東北の特設会場で、重量挙げ、柔道等のトップアスリートの競技そのものを再現
• 国際的なスポーツ祭典や会議等において、遠隔地からの鑑賞・観賞サービスを提供

（9）選手の気分で高臨場スポーツ観戦
〜全天球映像音響インタラクティブ視聴技術〜

　全方位カメラおよびマイクロホンシステムにより撮影された 360°の「映像・音響」を、ヘッドマウントディスプレイとヘッドホンを用いた直感的なユーザインタフェースで再現することで、あたかもスポーツ選手のいるフィールドに降り立ったような臨場感で、スリリングな視聴体験を提供します。

特徴

• ユーザの首振りで視聴領域が切り替わるという直感的なユーザインタフェースによる没入体験を実現します。
• 特別なマイクロホンアレイを用いて収録した信号を加工して、局所領域毎に分離した音信号を生成し、視点に合わせて立体音響印象を付与することで、映像に対応した音信号を生成します。

主な利用シーン

• 自宅に居ながら、あたかもフィールド内にいる選手と同じ目線での視聴体験を提供します。
• 実際の選手や審判の目線に近い映像での自由な視点変化により、 選手や審判のトレーニングとしての活用も期待されます。

（10）スポーツ中継向け「ターゲットマイク技術」を開発
〜歓声に埋もれたスポーツの競技音をクリアに抽出。NHKとの実証実験を実施〜

　観客の歓声に埋もれているスポーツの競技音（例：サッカーのシュート音）をクリアに抽出する音声処理ソフトウェア技術「ターゲットマイク技術」により、スポーツ中継などにおいて、これまで以上にスポーツのダイナミックな競技音を視聴者に届けることを可能とします。（2015年1月28日報道発表）

特徴

• シュート音の特性（鋭い立ち上がりを持っている）をうまく利用し、空間情報だけでは取り除けなかった雑音（歓声や応援）と目的音（シュート音）を区別するための処理を実現しました。
• 音の空間情報と音源の時間的性質の双方を活用することで、
  2本程度のマイクロホンでも、狙った音をクリアに抽出することを可能としました。

主な利用シーン

• スポーツ観戦において、より臨場感ある競技音の体験を世界中の人々に提供
• スタジアムに設置することで、観客を盛り上げる音響演出効果を創出

（参考）2015年1月28日リリースhttp://www.ntt.co.jp/news2015/1501/150128a.html

3．アマ・プロ向けの「スポーツ上達支援」

　NTTが研究を進めている、人間の感覚や運動、情動の脳情報処理の仕組みといった人間科学の知見とウェアラブルセンサをはじめとする情報工学技術を組み合わせた、アスリートの実践的トレーニングを支えるICTソリューションのコンセプトを具現化する関連技術を開発しました。

（11）スポーツのコツやメンタルを捉える！
〜ウェアラブル生体電極を用いた身体と心の解読とフィードバック〜

　ウェアラブル生体電極（hitoe）を装着することで、筋肉や心臓が働く際に発生する電気信号（筋電位・心電位）をスポーツ運動中に簡便に計測し、それら生体信号から筋の活動や心拍の変動などを合成音で表したりディスプレイに示したりする技術です。スポーツ実環境下で、運動のコツや力み度合い、メンタル状態などをわかりやすくフィードバックし、選手の気づきやパフォーマンス向上を促すソリューションの実現を目指します。

特徴

• 布状の生体電極が縫いこまれたウェアを着るだけで、選手に負担なく、スポーツ運動中の筋電位や心電位を計測し、複数の筋の活動（リズムやパターン）をリアルタイムで音に変換したり、心拍の変動（自律神経活動）を可視化します。
• 運動のコツや力み度合い、メンタル状態などを直感的に分かりやすくフィードバックします。

主な利用シーン

• 力の入れ方や体の使い方などのスキル習得のトレーニングに活用できます。
• メンタル面やフィジカル面の日々のコンディション（調子）をチェックできます。

【お知らせ】　ニコニコ生放送
「NTTR&Dフォーラム2015 直前大特集　〜Road to 2020〜」の概要