第7回はこちら＞＞＞ジャニーズ主演作初の ”HELLO! MOVIE”コメンタリーの解禁

本連載をはじめて7回。ここまでは映画の「出演者コメンタリー音声」やバリアフリー向け「音声ガイド」「字幕ガイド」といった副音声サービスとしての”HELLO! MOVIE”を紹介してきました。では、その”HELLO! MOVIE”を支える技術はいったいどのようなものなのでしょう。今回は”HELLO! MOVIE”を運営するエヴィクサー株式会社の皆さまに特別インタビューを行いました。映画興業のみならず日常・非日常の音響サービスの常識を変える技術の秘密にせまります。

──── はじめにHELLO! MOVIEの基本となる音響技術と、いまに至る開発のアウトラインを教えてください。

（長友さん）　弊社の音響認識技術は、主に2つの技術から成り立っています。「Audio Fingerprint(音響指紋)」と「Audio Watermark(音響透かし)」です。まず最初に、2012年に「Audio Fingerprint」技術が開発されて、もともとはテレビのマッチングに使われていました。

──── フィンガープリント(fingerprint)は、個人認証にも使われる「指紋」のことですね。「音の指紋」という認証情報が、テレビのマッチングに使われるというのはどういうことですか？

（徳永さん）　弊社で開発した「Audio Fingerprint」技術は音を特定することができます。それを何に使うか、という実用化は広告代理店とのミーティングのなかでの発想だったと思います。

当時は、飲料メーカーのCM（の音声）をキャッチしてアプリで楽しむことや、国際スポーツ中継のために開発されたアプリに採用されたりしました。

具体的には、CMをリアルタイム視聴していただくためのアイデアでした。ふつうにCM中にトイレ休憩される視聴者もいらっしゃいます。
また、テレビを録画したり、配信視聴したりすることも増えているなかで、テレビの前で音声を受け取ることで、アプリでポイントがもらえる等の工夫をしたものです。

• 
• 「Audio Fingerprint」の概念図

──── 視聴者はテレビの前に釘づけですね。

（徳永さん）　ただ一方で、コスト面での折り合いがつきにくい部分もありました。

技術的にテレビ音声から「Audio Fingerprint」を作成することは簡単なのですが、それを受け取ったアプリが何をするのかを考えなければなりません。専用のアプリをその都度、開発しなければならず、いまでもときどき採用例はあるのですが、実現するにはコスト的に少し重い面があります。

なので、現在まで継続的に利用されているのは主に「視聴測定」になっています。放送を「Audio Fingerprint」で認識すれば、「いま何チャンネルを見ている」などの情報をカウントできます。リアルタイム視聴と最近視聴率に含まれることになったタイムシフト視聴のためのサービスとして展開中で、これは広告代理店とデータリサーチ会社にご利用いただいております。

──── もうひとつの「Audio Watermark(音響透かし)」というのも音響認証技術ですよね？

（長友さん）　「Audio Watermark(音響透かし)」の開発も技術ありきで、やはり2012年くらいからやっています。Audio Fingerprintだけですと、海外には同様の技術を持った会社があります。そこでAudio Watermarkもどっちもやっていこうと。

Audio Fingerprintは、元の音声から特徴量を取得してマッチングするという技術ですが、それだけですと、毎回、元の音声を取得して解析する必要があります。他方のAudio Watermark(音響透かし)は、最初から埋め込んでおけば、音声をもらわなくても認証が可能な技術です。FingerprintとWatermarkそれぞれの特徴を活かして利用できるので、2つの技術を開発してきました。

さきほどの例で申し上げます。清涼飲料水のCMをキャッチするというアプリの場合、CMはかならずしもテレビから流れてくるだけではありません。YouTubeから流れてくる場合もあります。それだとどちらのCMをリアルタイム視聴しているのか判断できません。

そこでYouTubeのCMには透かし(Watermark)を入れておき、テレビ放送には透かしを入れないという手法を採りました。そうすることで、テレビ放送はFingerprintで認証して、リアルタイム視聴に対してポイントをプレゼントする企画が成立します。

• 
• 「Audio Watermark(音響透かし)」の概念図

• 
• ●長友康彦 氏（写真左）
  エヴィクサー株式会社　技術専門役員CRO
  事業本部 研究開発部 フェロー
  CROで、音響に関するアルゴリズム全般の発案・開発・検証を担当。HELLO! MOVIE に関しては採用するアルゴリズムの策定や、アプリ開発も行う。
  ●徳永和則 氏（写真右）
  エヴィクサー株式会社　事業本部 研究開発部 部長
  HELLO! MOVIEの裏側のサーバー開発やログ収集などを担当している。アプリの開発も担当する。

──── なるほど。2つの音響認証技術を持つ長所が活かされますね。でも、そこから、どうして映画のHELLO! MOVIEの登場に至ったのですか？

（長友さん）　最初は、透かしで埋め込んだ情報をアプリが受け取るという技術でしたが、2013年に公開された映画『貞子3D2』の上映時に、アプリが透かしを受け取ったら映画のシーンと同じタイミングで、何かアクションを起こすというアイデアが生まれました。

映画の中で電話が鳴ると、同じように観客のスマホアプリも電話が鳴っているような挙動を演出しました。このときに音響透かしが何かのコンテンツに同期して、「反応して動く」ということが考え出されたのです。

それはAudio Fingerprintも同じで、もともとは「何かの音楽や音を認識する」だけのものでしたが、ここから、「特定の曲の何秒目かを認識する」ように改良されました。これが現在のHELLO! MOVIEの原点につながるわけです。

──── なるほど。特定の音を認識してプログラムを動かすトリガー（引き金）になるという応用のキモがここで誕生するわけなんですね。

（長友さん）　もちろん、それからもアルゴリズムは改善されつづけています。様々な実施案件ごとの要望に合わせた開発を行うことで、技術の基本もブラッシュアップされていきました。

• 
• 映画『貞子3D2』(2013年)。
  1998年の国内での大ヒットにとどまらず、韓国リメイク、ハリウッドリメイクと世界中に影響を与えた、ジャパニーズホラーの金字塔『リング』(1998年)の関連作品。『リング』から数えて第6弾にあたる。前作で初の3D化を果たし、引き続き、小説「リング」の原作者・鈴木光司によるオリジナルストーリーを、英勉監督が映画化した。瀧本美織が楓子役で主演。
  (C)2013「貞子3D2」製作委員会

──── つまりコンテンツ固有の音を認識して、アプリがバリアフリーコンテンツを提供できるようになるわけですね。そこからどのようなタイミングで「HELLO! MOVIE」は登場するのでしょうか。

（那須さん）　当時おかげさまで、『貞子3D2』は話題になりました。いろいろな場面で、弊社の音響技術を紹介する機会が増えるようになり、そんなとき、たまたま「特定非営利活動法人メディア・アクセス・サポートセンター（略称：MASC）」理事の川野 浩二（かわの こうじ）さんがそれを見ていました。川野さんは当時、海外製の技術を評価されていたのですが、「国産でこういう技術があるなら、ぜひ一緒にやりたい」という話になりました。

──── へぇ、そういうことだったんですね。テレビ放送認証やHELLO! MOVIEだけでなく、これまでにはイベント連動企画も実施されたと思いますが、主なアイデアは広告代理店からが多かったのでしょうか？

（徳永さん）　ケース・バイ・ケースです。もちろん代理店からの提案もありましたし、先ほどの『貞子3D2』が各方面で賞をいただいたことで、「こういうことはできないか？」という問い合わせから発展していったものもあります。

（那須さん）　我々は技術オリエンテッドの会社という方針だったので、最初の頃は、いわゆる裏方として、企画や運用は広告代理店にお任せしていました。しかしそれだけでは、なかなか音響技術の良さが伝えきれていないことも、多く感じていました。

そうであれば、外部まかせではなく、自分たちでサービス立ち上げて、事例を作っていったほうが、技術の良さをアピールできるのではないかと考えるようになりました。

それで『貞子3D2』の3年後くらいからは自ら事例を作るスタイルにシフトしていきました。HELLO! MOVIEもその一環といえます。最初は小さなイベントからはじめて、自ら事例を作ることによって、またそれを見た人から声がかかるという具合です。

• 
• ●那須猛士 氏（写真左）
  エヴィクサー株式会社　事業本部 営業部 部長
  ●坂元風楽 氏（写真右）
  エヴィクサー株式会社　事業本部 研究開発部　
  HELLO! MOVIEの運用担当。音声ガイドや字幕ガイドのオーサリング作業を行う。アプリに使えるようにすること。お客様サポートやSNSの担当も兼任する

──── ひとつひとつの事例が呼び水になっていったということですね。
先ほど、Audio WatermarkとAudio Fingerprintを2つとも持っているということでしたが、それぞれは世界にも類似した技術がある中で、さらにエヴィクサーとしての独自性はあるのでしょうか。

（長友さん）　まず、透かし技術のAudio Watermarkについては、非可聴領域（人間の耳に聞こえない音域）と、可聴領域（人間の耳に聞こえる音域）の両方に対応していることが特徴です。

非可聴領域は人間の耳に聞こえないので、音に何を足してもわかりません。一方で、人間の耳に聞こえる音域に、Audio Watermarkの処理を加えることによって、元の音色や音質の変化を気づきにくくする技術があります。非可聴と可聴の両方をやっている会社は少ないと思います。また、その音響認識速度も0.1秒くらいですので、他社には、ここまで速い技術はないのではないでしょうか。

──── ちなみに、これまでの一般的なAudio Watermarkの認識速度はどのくらいですか。

（長友さん）　他社の速度には言及できませんが、弊社での初期の速度は2～3秒かかっていました。今では「ポン出し」といいますか、非可聴で音を出した瞬時にスマホが反応するところまで来ています。イベントなどでのトリガーとして十分使えるものです。

──── 「音質の変化に気づきにくい」ということですが、コンテンツメーカーからすると、まず「Audio Watermarkによって、音が悪くならないか」と最初に訊かれると思います。それに対する対策や工夫とは？

（長友さん）　工夫というのは、「なるべく気付かれないようにアルゴリズムを組む」ということに尽きます。初期はAudio Watermarkを組み込むと「音が変わるね」と言われることもありました。そこで、元の音を加工しないAudio Fingerprintに切り替えることもあったのですが、最近の可聴透かしに関しては、めったに音の変化を指摘されなくなりました。日々、ほんの少しずつでもアルゴリズムのアップデートを繰り返していることの結果です。

──── 「HELLO! MOVIE」が、Audio Watermarkではなく、Audio Fingerprintを使っているのは、やはり映画会社からオリジナルコンテンツを改変したくないという経緯でしょうか。

（長友さん）　そういう面もあります。Audio Watermarkは映画本編には入っていませんが、「先づけ映像」には入っています。

──── 「先づけ映像」というのは、劇場で見る公開予定作品の予告編の部分ですね。

（長友さん）　はい。　何故「先づけ映像」に透かしを入れているかという理由については、Audio Fingerprintは、音の特徴量に対してマッチングする技術なので、音の入っていない(無音)部分はマッチングができません。

ところが映画は、冒頭に音が入っていない作品もたまにあります。Audio Fingerprintだけで認証しようとすると、いちばん最初から同期してコンテンツを楽しむことができない場合が出てきてしまいます。そのため「先づけ映像」にAudio Watermarkを入れて、「あと何秒後から本編がはじまるよ」とアプリが認識できるようになっているのです。

（那須さん）　いちばん使われているのは「NO MORE 映画泥棒」ですね。あそこにAudio Watermarkを組み込んだバージョンをデータ登録してあります。「NO MORE 映画泥棒」には「透かし入り」と「透かしなし」のバージョンがあります。興行会社がデータ会社に「透かし入りの先づけ」を指定すれば、それが本編前に付くようになっています。

HELLO! MOVIEのバリアフリーやコメンタリーを実施する作品の場合、「透かし入りを使ってください」といえば、各興行会社がDCPでつなぎ合わせて上映するというしくみが出来上がっています。

──── 「NO MORE 映画泥棒」は、興行会社(映画館)ではなく、配給会社がつないでいるのでしょうか。

（那須さん）　興行会社(映画館)が行う場合もありますが、配給会社がつないだものを納品する場合もあります。また、本編と先づけが分割されたものを興行会社がデータをダウンロードしてつなぐ場合もあります。

本来のタイミングは、Audio Watermark入りの先づけ映像を間隔0秒で本編につなげていただきたいのですが、たまにベテランの映写エンジニアさんの中には、画面が本編映像にすぐ切り替わるのが好みでないらしく、黒フレームを挿入されてしまうこともあります。その場合はAudio Watermarkで同期した直後は少しずれがあるので、本編と素早く同期するためのAudio Fingerprintの技術も重要になってきます。

そういった例も含めて「先づけ映像のAudio Watermark」と、「本編のAudio Fingerprint」の両方で同期対応できているというのが、HELLO! MOVIEアプリの大きな長所になります。

• 
• 映画館でかならず流れる「NO MORE 映画泥棒」の音声に、人知れずAudio Watermark（音響透かし）が仕込まれている。「このあと何秒後に本編が始まるか」をスマホアプリのHELLO! MOVIEに知らせている。
  (C)「映画館に行こう！」実行委員会

──── その専用アプリについて教えてください。HELLO! MOVIEのアプリはいつどういう経緯で開発が始まったのでしょうか。

（那須さん）　やはり最初は『貞子3D2』用のアプリや、あるいは『アイカツ！ミュージックアワード みんなで賞をもらっちゃいまSHOW！』(2015年)の応援アプリ、『賭ケグルイ』(2019年)のコメンタリーなどの一点モノをアプリ開発していました。

当時のアプリの名称は「Another Track」というものでしたが、「Another Track」ではバリアフリーコンテンツはやらず、エンタメのみに対応したアプリでした。

また当時は、技術提供の形態も多かったのですが、アプリに対するお客様からのクレームをフォローしているうちに自分たちでアプリすべてを作ってしまったほうが早いと考えて、両方(バリアフリーとエンタメ)に対応することにしたのが、始まりです。

そこまでは一点モノのアプリでしたが、『劇場版 ONE PIECE STAMPEDE』(2019年)のコメンタリー用に「Another Track」をカスタマイズして、さらに「HELLO! MOVIE」にシフトしていきました。

（後編につづく）

• 
• 「アイカツ！ミュージックアワード みんなで賞をもらっちゃいまSHOW！」(2015年)。
  公開時、映画と連動したアプリ「アイカツ！みんなでおうえんアプリ」が登場。「スマホおうえんライブ」上映会が実施された。劇場内で専用アプリを起動させて「アイカツ！」の鑑賞を楽しむイベントは、劇中のライブシーンでBPMやスペシャルアピールにあわせてスマホ画面のサイリウムの色やデザインが変わる。またアプリには、ライブのセットリストやメッセージが届く機能なども実装された。

• 
• 『映画　賭ケグルイ』(2019年)。
  月刊「ガンガン JOKER」連載のコミックを原作とするテレビドラマ「賭ケグルイ」の劇場版。原作者の河本ほむらが原案・監修を手がけ、テレビドラマからつながる完全オリジナルストーリー。主演は浜辺美波。開発されたスマートフォンアプリ「副音声de賭ケグルイ」を起動すると、映画の進行に合わせて英勉監督や浜辺美波、高杉真宙、森川葵らキャストによる、撮影エピソードや劇中に登場するゲームの解説などをオーディオコメンタリーを聴くことができた。
  (C)2019 河本ほむら・尚村透／SQUARE ENIX・「映画　賭ケグルイ」製作委員会

• 
• 劇場版『ONE PIECE STAMPEDE(ワンピース スタンピード)』(2019年)。
  同シリーズTVアニメ放送20周年記念作品にして、劇場版14作目。舞台は、“海賊万博”。万博の目玉となる「海賊王（ロジャー）の遺した宝」をかけて主要38キャラクターが勢ぞろいする、夢のオールスター作品となっている。
  劇場でアプリ「Another Track」を起動すると、 映画の進行に合わせて作品キャラクター “麦わらの一味” の声優陣9人全員によるオーディオコメンタリーを聴くことができる。(C)尾田栄一郎／2019「ワンピース」製作委員会
  関連記事はこちら

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

【HELLO! MOVIEの楽しみ方】

映画館へ行くまえに、お持ちのスマートフォンで「HELLO! MOVIE」を検索して、アプリをダウンロードしてください。
動画で解説します。「HELLO! MOVIE」公式YouTubeでアプリの使い方をご覧ください。

第9回はこちら＞＞＞多言語で世界標準をめざす、HELLO! MOVIEのこれから