第8回はこちら＞＞＞開発者に聞く。HELLO! MOVIEを支える技術の秘密とその可能性
オーサリング現場の裏側
前編からつづく特別編です。”HELLO! MOVIE”を運営するエヴィクサー株式会社の皆さまをインタビュー直撃しました。前編では”HELLO! MOVIE”サービスを支える「Audio Fingerprint(音響指紋)」と「Audio Watermark(音響透かし)」の画期的な独自性について知ることができました。後編では、実際の”HELLO! MOVIE”サービスを運用するにあたって映画コンテンツをオーサリングする現場について話をきいてみます。また2月中旬に、”HELLO! MOVIE”が米国・中国・台湾で特許査定を受領したというニュースが飛び込んできました。いままさに、日本発の技術が「国際標準化」にむけて動き出しています。
──── さて、HELLO! MOVIEのオーサリング作業についてお聞かせください。
実際、配給会社が音声ガイドやコメンタリーをつくる場合、その素材をエヴィクサー社側でHELLO! MOVIEに変換作業するのでしょうか。それとも配給会社がスタジオでセルフでできるオーサリングツールがあるのでしょうか。
（清水さん） オーサリングに関しては配給会社様からデータをお預かりし、全て弊社で行っております。
まず配給会社から弊社にいただくデータというのは、2種類あります。ひとつは映像データで、MP4だったりMOVだったり形式はいろいろあります。それが上映フォーマットと同じ24フレーム/毎秒で納品されます。もうひとつは音声データで、こちらは5.1ch分あります。2chステレオにダウンミックスしたものではなく、24フレームの映像から分離された5.1ch音声となります。以上が映画の素材です。
それに加えて「字幕データ」と「音声ガイドのデータ」があります。こちらは配給会社ではなく、字幕制作会社ないしは音声ガイドを制作している会社から別途納品されます。
これらの映像・音声データを解析して、映画に乗せるデータをひとつにまとめてアプリに収めるオーサリングを弊社で行います。「HELLO! MOVIEコメンタリー」の場合は、「字幕データ」がないので、「コメンタリー音声データ」のみを映像・音声データに合わせてオーサリングすることになります。
──── 一言で、字幕データや音声ガイドを「乗っける」といっても、映像との再生タイミングはどのように取るのでしょうか。
（清水さん） タイミングの合わせ方は、だいたいデータ冒頭に目印となる1KHzのトーン信号（ピーという音）が入っているので、それで同期を揃えます。トーン信号が入っていない場合は、映像を見ながら音声を合わせていきます。
──── HELLO! MOVIEのオーサリングの納期はどのくらいですか
（清水さん） 当然、オーサリング開始は、映画が出来上がり次第です。HELLO! MOVIE用に映像から音声データを抜き出して、映像と音声データとして納品されます。早い作品は2カ月前から制作に入るものもありますが、ギリギリになるものもあります。現場としてとにかく公開初日からガイドを提供したい、という思いで作業しております。
また、必ず公開前に確認試写は行うので、ガイドの対応が作品公開と同時の場合は、遅くとも公開日の3～4日前には試写をしています。
コメンタリー収録などは、映画撮影から時間が経ってから関係者が集まることが多く、完成記者会見や試写舞台挨拶のあとなどになるので、HELLO! MOVIEコメンタリーは、通常版公開日から1～2週間遅れてのサービス提供になることが多いです。
- オーサリング作業を行うモニター画面。映画本編の映像・音声データを取り込み、それに「字幕データ」と「音声ガイドのデータ」のタイミングを合わせていく。
- ●清水千秋 氏（写真左）
エヴィクサー株式会社 事業本部 研究開発部 主任
HELLO! MOVIEの運用を担当。配給会社との素材のやりとり、スケジュール管理などを担当。音声ガイドや字幕ガイドがHELLO! MOVIEに載るまでを担当している。
●坂元風楽 氏（写真右）
エヴィクサー株式会社 事業本部 研究開発部
HELLO! MOVIEの運用担当。音声ガイドや字幕ガイドのオーサリング作業を行う。アプリに使えるようにすること。お客様サポートやSNSの担当も兼任する。
コンテンツの公開期間と映画館以外への利用について
──── ちなみに映倫(映画倫理機構)のチェックは、音声ガイドやコメンタリーなどのサブ要素コンテンツも対象となるのでしょうか。
（那須さん） 映倫によるチェックはないと思います。ただ音声ガイドや字幕ガイドのチェックには、配給会社の責任者やプロデューサーが必ず出席されています。
──── 一度オーサリングされた「HELLO! MOVIEコンテンツ」がサーバー上に収納されている場合、対となる作品素材があれば、映画館でなくても、たとえばBlu-rayソフトや放送でも、HELLO! MOVIEアプリは同期再生が可能なのでしょうか。
（清水さん） 実際は、再生のフレームレート(24フレーム)が違うので、「字幕ガイド」や「音声ガイド」は少しずつタイミングがズレてしまいますね。
──── もしもフレームレート変換ができれば、ユーザーにとっては、メディアの垣根を超えたアプリのほうがいいと思いますが、著作権などの問題があるのでしょうか。
（那須さん） 映画は配給会社の担当する事業範囲と、パッケージメディアを販売するビデオ会社の担当範囲が異なるのが普通なので、そこまでのサービス提供ができていないのが現実です。弊社としてもそこまでのサポートができないので、あくまでも「映画館上映」が前提で、HELLO! MOVIEのサーバー上には公開から1年間しか保持しません。
──── もし国内でNetflixやAmazonなどがオリジナルコンテンツでHELLO! MOVIE対応させたいと要望されたら、どのようになりますか。
（那須さん） もしそういう要望が正式にあった場合、映画作品の場合は、HELLO! MOVIEの枠組みの中に入れることは可能です。ただし映画以外のコンテンツとなると、個別のアプリ開発対応となってしまうかもしれません。もちろん、Audio Fingerprintを使っているかぎり、HELLO! MOVIEで再生はできてしまいますが。
逆に配信会社からの相談としては、「その配信チャンネルでしか使えないようにできないか」というご要望があります。そうなるとAudio Fingerprintではなく、全編にAudio Watermarkを入れて個別アプリで対応可能になります。
──── 映画館で観られない配信限定オリジナルコンテンツも増えていますし、音声の有料スクランブルみたいですね。
（那須さん） そうですね。「障がい者の方から、HELLO! MOVIEのバリアフリーコンテンツをAmazon Prime Videoで見られたよ」という話も聞きます。Audio Fingerprintだけだと、多少の時間差はあっても再生できてしまいます。反対に、配信サービス独自の音声コンテンツを用意した場合、Audio Watermarkならばニーズがありそうです。
弊社の場合、「非可聴透かし」だけでなく、「可聴透かし」もあるので、比較的容易に対応できます。
- HELLO! MOVIEのサービス概念図。映画本編データに音声ガイド・字幕ガイドがオーサリングされて一つのコンテンツとしてサーバーに保管される。個別のイベント・エンタメ用のコンテンツに対する、アプリはAnotherTrackをカスタマイズして仕上げる
多言語対応と海外展開について
──── さて、多言語対応について教えてください。たとえば、同じ公開日に世界中ですべての言葉に対応することも、HELLO! MOVIEでは技術的に可能だと思いますが。
（那須さん） はい。HELLO! MOVIEではすでに字幕ガイドも音声ガイドも技術的には多言語対応済みです。（現行サービスは、バリアフリーとコメンタリーしか提供していないだけ）
──── HELLO! MOVIEが世界展開するにあたって、この技術に特許はあるのでしょうか。
(瀧川社長) 日本では、2017年7月に特許取得・特許公開となっております。2022年に入り、中国、米国、台湾と続けて、特許査定を受領しました。他に、欧州、韓国で出願対応中ですので、同様に今後、特許査定となる見込みです。
例えば、アメリカでは英語よりスペイン語を常用している層も数多くいらっしゃいますので、多言語対応のニーズを、ユーザーによって異なる対応について、補助的なツールとして後乗せ出来るHELLO! MOVIE方式は魅力的だと思います。
──── 映画の世界市場を占有する米国と中国で特許取得済みということは、大きいですね。
(瀧川社長) HELLO! MOVIEの商標も国際登録（日本、中国、欧州連合、イギリス、韓国、米国）を行い、海外でも安定した音響通信に基づく音声ガイド・字幕ガイドサービスとしてのブランド構築の準備は整えつつあります。
一方で、米国ハリウッド映画スタジオ、現地映画会社との協業モデルも進めておりますので、より一般ユーザーに馴染みやすいように、スタジオ名や映画会社名を冠するサービスになるかも分かりません。
また、コンテンツホルダーによっては、映画館だけではなく、配信サービスなどにも応用可能と考えられるので、その場合も同様です。
──── 日本発の技術が世界標準になる可能性があるということは、日本人としてとても誇らしいことです。
(瀧川社長) アプリケーションとしては、多言語対応の仕組みは構築済みなので、あとは、制作面だと思っております。
これまで期間限定や映画館限定では、訪日外国人向けの実証は行った実績もございます。コロナ禍が落ち着き、インバウンド需要が回復すれば、提案してまいりたいと考えております。
──── 海外展開への具体的な課題にはどのようなものがありますか。
（那須さん） 技術的にもセキュリティ要件など様々なものがありますが、他にも、一概に多言語サービスといっても、音声ガイドが必要なのか、字幕ガイドが必要なのかは、国や地域によって異なります。
当然、音声ガイドならば、吹替版データを言語の数だけ用意しなければなりませんが、比較的、サービス実現が容易なのは字幕ガイドのほうになると思います。すでに配信サービスでもパッケージソフトでも作品ごとの多言語に対応した字幕データは揃っています。
データさえあれば、HELLO! MOVIEは技術的には問題ありませんが、鑑賞時のデバイス運用も問題となります。現行のバリアフリーのように字幕メガネを貸し出すとしたら、サービスは有償か無償か、有償ならばいくらが妥当なのか等、の課題があります。
──── バリアフリーと同じく、字幕メガネの普及や、コストダウンと密接に関わってくるということですね。
（徳永さん） 海外での劇場字幕サービスの例では、座席に固定されたタブレットを利用するため、サービス提供可能な席が限られていたりします。HELLO! MOVIEはどの席、どの場所でも可能です。
海外の方からは、世界的に見てもHELLO! MOVIEの運用システムが最も進んでいると評価されます。
”HELLO! MOVIE”にこめられた思い。アプリのこれから
──── ところで「HELLO! MOVIE」というキャッチーな名称はどこから生まれたのでしょうか。
（徳永さん） 発案者は、弊社エンジニアの糸満だったと思います。社内の開発会議で、複数候補のなかから投票しました。
技術者の発案なので、いわゆる「ハロー・ワールド」(初歩的プログラムのひとつ。たいていのプログラム言語の入門書の最初の例題になっており、世界一有名なプログラムと呼ばれる)が当初の言葉の由来になっていたようです。
HELLO! という言葉には、「人と人をつなげる」という意味合いがあり、それが「障がい者と健常者」であったり、「家族が一緒に楽しむ」であったり、「多言語で国と国をつなぐ」ことであったり、HELLO! MOVIEを使うことで話題が共有できるようになることが願いとして込められていて、また新しい映画の楽しみ方のはじまりを象徴していたりもします。
──── 今後のアプリの改善に関して、ビジョンはありますか。
（徳永さん） 全世界で使われることを目指しておりますので、ユーザビリティの向上は常に意識しているところになります。例えば、ARグラスをサポートしていく等もその対象になってくると思います。ユーザーからの問い合わせやSNSで呟いていただいた内容を参考に機能改善することもあります。
──── では、今後１年で映画館以外での技術開発やサービスで、見えているものはありますか。
（徳永さん）
例えば、防災設備での話もあります。聴覚障がい者が緊急放送の音が聞こえない公共スペースで、緊急放送の音に同期させて、デジタルサイネージを切り替えたり、ライトを光らせたりなどの、実証実験を始める予定です。また、ライブや映画の音でNFT(Non Fungible Token)を配ることも計画しています。
──── これからがますます楽しみです。本日はありがとうございました。
- ●徳永和則 氏（写真左）
エヴィクサー株式会社 事業本部 研究開発部 部長
HELLO! MOVIEの裏側のサーバー開発やログ収集などを担当している。アプリの開発も担当する。
●那須猛士 氏（写真右）
エヴィクサー株式会社 事業本部 営業部 部長
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
【HELLO! MOVIEの楽しみ方】
映画館へ行くまえに、お持ちのスマートフォンで「HELLO! MOVIE」を検索して、アプリをダウンロードしてください。
動画で解説します。「HELLO! MOVIE」公式YouTubeでアプリの使い方をご覧ください。
オーディオビジュアル総合誌
ホームシアターファイル
