AIを活用したテレビ側の映像処理技術
「もっと深くホームシアターを楽しみたい」、「映像と音響の技術を知りたい」、そんな声に鴻池賢三氏が応える連載「基礎から学ぶ、1歩先のホームシアター」。最新テレビで採用されている「AI高画質処理技術」について解説していきます。
昔も今もテレビを選ぶ際、画質は重要なポイントです。近年では、高精細な4Kが普及し始めているため、そのポテンシャルを十分に引き出すべく、映像処理にAI技術を採り入れる動きが進んでおり、4Kテレビのトレンドとも言えるのが「AI高画質処理技術」です。ひと口に“高画質”といっても、考え方は様々です。大別すると、1)映像作品の制作者の意図に対して忠実な映像を映し出す、2)視聴者が快適かつ美しく感じる映像を映し出す、といったところです。原則としては1)「制作者の意図に忠実」が基本と言えますが、素材自体のクオリティが不足している場合も多々あるため、テレビ側で「キレイに整える」ための機能である「映像処理」も重要なのです。
現在主流の4K(60p/HDR)テレビでは、地上デジタル放送の2K(60i/SDR)データの映像をそのまま映し出すと、綺麗に表示することができません。ここで活躍するのが「映像処理技術」で、各メーカーの技術力が濃く反映される部分です。カタログやホームページでは「映像エンジン」などと記載されており、意識されている方も多いことでしょう。また、放送映像には圧縮によるノイズもつきまとい、どのように除去するかも重要です。ほか、コントラストや色味を整えて「キレイに見せる」のも映像エンジンに期待される重要な役割です。
- 「自然な色彩」を再現するため、映像を送信する際のデータ圧縮によって失われた色信号や階調を補正。また、2K・SDR映像では暗部では黒潰れ、明部では白飛びが起こることもあります。そのため、映像の明暗部を解析し、輝度を適切な値に調整することで色鮮やかな映像表示を実現します。
- 「超解像」は映像を拡大、かつ補正することによって解像度が向上したかのような美しい映像を見ることができる技術。未だ主流である地上波放送やブルーレイ、動画配信などの2Kコンテンツを4Kテレビでも綺麗に映し出すことができます。
- 「ノイズ除去」は、放送番組の送信時のデータサイズ圧縮に起因したモスキートノイズやブロックノイズなど、映像の乱れを取り除く機能。また、ノイズの多い映像をそのまま4Kアップコンバートしてしまうとノイズも4K化してしまうため、精度の高さが問われる重要な機能です。
第5回はこちら>>>シアターファンが知っておきたい!「mini LED」の基礎
第3回はこちら>>>シアターファンが知っておきたい!HDMI「eARC」の基礎
膨大なパターンを学習して認識精度が向上
AIを利用した映像エンジンは今までのものと何が違うのでしょうか? 今までは、エンジニアが考えた「アルゴリズム」に沿って映像を判定し、それに応じた処理を施します。映像の判定には解像度、放送の種類、番組のジャンル(映画、スポーツ、ニュースなど)、ヒストグラム(輝度)などが手掛かりになりますが、実際には膨大な組み合わせが存在し、対応には限界があることをご想像いただけるでしょう。
一方のAI映像処理は、各社によって詳細が異なりますが、機械的に数万~億という無限に近い膨大なパターンの映像を分析して学習。その結果として生成された「アルゴリズム」が、テレビに搭載されています。「アルゴリズム」という点では人力に近いように感じますが、AI技術は人間が気付かない法則も見出すのが特長であり、人知を超える能力が期待できる点が画期的なのです。
- 今までエンジニアによって作られたアルゴリズムや放送番組のジャンル情報を解析して高画質処理を行っていました。AIでは膨大な映像パターンを学習することにより生成したアルゴリズムによって、今までよりも多くのシーンやコンテンツ、背景や人を認識してそれぞれに適した処理が可能になりました。
- 地上波放送やネット動画などの2K/SDRの映像をシーンに応じて、明るさやコントラストを適切に処理することで、HDRに迫る自然でリアルな映像の表示を実現しました。また、4K放送に採用されるHLG方式の映像信号には明るさ情報が含まれており、解析することでパネルの性能に合わせた高コントラストな映像を映し出します。
AI映像処理技術も各社で特長が異なる
映像処理の考え方や方法は各社各様。代表的なメーカーのAI映像処理技術について整理しましょう。
LGエレクトロニクスは、積極的にAI技術の研究に取り組む先進メーカーです。最新製品に搭載される映像エンジン「α9 Gen4 AI Processor」は、ヒトの顔や体、犬、ビルなどの被写体や夜景などシーンの識別して、適切な処理をきめ細やかに適用します。
- LG ELECTRONICS
数百万の映像ソースを学習した「AI Processor」によって、地上波やネット動画など、あらゆるコンテンツを自動で認識。字幕を読みやすくはっきり表示したり、人の顔を認識して肌を自然なトーンで映し出すなどの効果が得られます。
ソニーは、認知特性プロセッサー「XR」と呼び、“人が目で感じる美しさ”をアピールしています。今まで蓄積してきた膨大なデータベースを活用し、ヒトが注視する部分、被写体や部分に応じてキレイと感じる処理を適用することで、さらなる高画質を目指すものといえます。
- SONY
映像信号を人の脳のように横断的に分析することを可能にした認知特性プロセッサー「XR」によって、色や精彩感、コントラストをより自然な美しさに調整。さらに、人が物事を見る際に注視する場所を見つけ出し、その注視点を際立たせることを可能にしました。
レグザの「クラウドAI高画質テクノロジー」は、詳細ジャンルやコンテンツごとの映像解析データをクラウド経由で取得し、最適な映像処理を適用。解析にはエンジニアの知見も反映されているとのことで、常に最新のきめ細やかな映像処理が期待できます。
- REGZA
番組の詳細ジャンルやコンテンツごとの画質特性をクラウドから取得し、視聴中のコンテンツに適したパラメーターを用いて高画質処理を行う「クラウドAI テクノロジー」によって、放送番組だけでなく、ネット動画なども高精細に描き出すような処理を施します。
パナソニックの「オートAI画質」は、番組情報に頼らず、放送や映画など100万超のシーンを学習させた「シーン認識アルゴリズム」が特徴。シーン毎にきめ細やかに「人間の脳のように何を見ているのかを認識」するとのことで、蓄積してきた各種の映像処理技術もより活かせませす。
- PANASONIC
放送番組や映画など100万のシーンを集めた学習用データベースをAIに学習(ディープラーニング)させ、「シーン認識アルゴリズム」を生成する「オートAI」。これによりビエラがシーンを認識し、搭載された高画質化技術を統合的に制御することで自動的に最適な画質に調整することを可能にしました。
地上/BSデジタル放送(2K)、DVDや各種ストリーミングなど、今後も当面は、2K映像ソースが一定の割合を占めると考えられます。こうした状況で、4K/HDR、有機ELやMini-LED液晶といった進歩しているハードウェアの性能をフル活用する意味でも、より高度な映像処理技術に期待が掛かります。テレビの視聴体験を飛躍させるであろうAI技術の進化から、今後も目が離せません。