平成10年10月15日

日本電信電話株式会社

時系列アクティブ探索法を開発 −長時間の音や映像から目的部分をすばやく探索−

NTTでは、長時間にわたって蓄積された音や映像から、CMやテーマソングなどの特定部分を高速に探索する技術「時系列アクティブ探索法」を開発しました。 　時系列アクティブ探索法は、音や映像データを圧縮して照合し、また照合箇所を必要最小限におさえることにより、探索精度を維持したまま従来法（スペクトル照合法※１）に比べ約600倍の速さで探索できます。 　これにより例えば、６時間分の放送やビデオをパソコンに取り込むことで、15秒のCMが何ヶ所、どこにあるかを、わずか２秒で探索することが可能となります。 　本技術は、特定の映像や音楽の放送回数の調査、放送情報の統計分析や、インターネット上での音楽や映像の不正利用の監視など、幅広く応用できます。今後は、今回開発した技術を核として、音、映像、文書などの膨大なメディア情報から興味ある情報をすばやく探索する技術の実現をめざすと共に、様々な分野への応用を検討していきます。

○ 開発の背景 　マルチメディアの普及に伴い、身の回りにはさまざまなメディア情報が氾濫するようになりました。そのため、特定の音や映像が膨大な情報のどこに含まれているのかを探し出すのは非常に困難です。また、自分が作った音や映像を不正に利用されていてもチェックすることが難しいという問題も深刻になってきています。そこで、長時間の音や映像から目的とする部分を短時間で探し出すための手法が求められています。 　○ 技術のポイント 　１．高速探索の手法 　時系列アクティブ探索法は、蓄積した長時間の音や映像信号を圧縮し、各箇所に対して目的の信号と照合して類似度を計算し、その値が一定値以上の箇所を高速に抽出します（図１）。 　時系列アクティブ探索法は３ステップで構成されます（図２）。以下、音響信号の例を説明します。 　(1) 第１ステップ（特徴抽出） 　信号を100分の１秒ごとに分割し、それぞれのスペクトル※２を計算します。従来法の一つである波形照合法※３では波形の１サンプルごと（例えば1万分の1秒ごと）の照合が必要であるのに比べ、スペクトルを用いると100分の１秒ごとの照合で、同じ精度が得られることが実験的に知られており、これにより探索時間は短縮されます。これは従来から知られる技術でスペクトル照合法と呼びます。 　(2) 第２ステップ（データ圧縮） 　100分の１秒ごとのスペクトルを形状によって約2000種類に分類し、各種類ごとに該当するスペクトルの個数を数えてヒストグラム（棒グラフ）を作ります。例えば15秒間の目的信号の場合には、1500個のスペクトルを分類することになります。このヒストグラムを用いて信号を比較すると、データが圧縮されているため照合時間が短縮され、さらに探索時間は短縮されます（実験ではスペクトル照合法に比較し約15倍の速度向上を確認）。 　(3) 第３ステップ（探索の工夫） 　ヒストグラムを用いることにより、一度類似度が計算されると、その周辺における類似度の取り得る値の範囲を正確に計算できます。これにより類似度計算の必要ない区間を瞬時に割り出し、その部分をスキップすることで、探索もれを起こさずに、探索を大幅に高速化できます（実験ではさらに約40倍の速度向上を確認）。 　テレビ放映６時間分の信号から15秒のコマーシャルを探索するという課題について時系列アクティブ探索法を評価した結果、パソコンでわずか２秒で正確に探索が行えることが実証されました。これは従来法の一つであるスペクトル照合法に比べて約600倍の高速化（表１）を実現したことになります。 　２．本技術の特長 　（１）高速かつ、もれの無い探索 　本手法では、探索精度を維持したまま計算量を大幅に低減できます。すなわち、「高速に処理できる」、「探索もれを起こさない」という、従来両立できなかった二つの特性をともに実現しました。 　(２)多様なメディアに適用可能 　本手法は、映像に対しても、色情報(R,G,B等)のヒストグラムを用いることにより、同様に高速探索を行うことが可能です。また、音響信号と映像信号を併用することにより、探索精度をさらに高めることもできます。 　○今後の展開 　時系列アクティブ探索法は、放送からのCMなどの検出のみならず、テーマソングで自動録画できるビデオシステム、インターネット上で音楽や映像の不正利用を監視するシステムなど幅広い応用が可能です。 　NTTでは、開発した時系列アクティブ探索法を用いて、実際に放送から統計情報を自動抽出するシステム等、各種応用システムを開発します。更に、音環境、視覚環境、文書などの一般的なメディアを対象に高精度・高速に探索し認識する手法の開発をめざしていきます。 　○ 用語解説 　※１ スペクトル照合法（従来の探索手法） 　波形照合法を改良した手法で、スペクトル特徴をずらしながら照合する探索手法です。探索時間（１５秒の目的信号を６時間の信号から探す場合）は1000秒程度に高速化はされますが、この手法でも長時間の音や映像からの現実的な時間での探索は不可能です。粗く探索して高速化を図る方法もありますが、探索もれを起こす可能性があり、信頼性が低下します。 　※２ スペクトル 　周波数別の音の強さを表したもので、一定時間内における各周波数帯域の音の強弱を表現したものです。例えばステレオなどのデイスプレーに使用されているスペクトルアナライザーはこのスペクトルをグラフ表示したものです。 　※３ 波形照合法（従来の探索手法） 　音や映像の中から目的の部分を探索するために、目的の波形と蓄積された波形を一定の刻み幅ごとにずらしながら比較する探索手法です。 　この手法の欠点は処理に膨大な時間がかかるということです。例えば、15秒の目的信号を６時間の信号から探す場合ではパソコンでは数十時間もかかるため非現実的です。

別　紙 　図1　ＣＭ探索結果の例 　図2　高速化の手法 　表1　探索時間の比較

NTT NEWS RELEASE