Google は、ビデオをインテリジェントに再構成して別のアスペクト比に正しく適合させることで、不適切な切り取りを過去のものにできるオープンソース ツール Autoflip をリリースしました。
GoogleのAIチームはブログ投稿で、テレビやデスクトップパソコン向けに撮影された映像は通常16:9または4:3のアスペクト比で表示されるが、モバイルデバイスが動画視聴の面でテレビを上回っているため、エンドユーザーにとって映像が奇妙に表示されることが多いと述べている。この問題を解決するには、通常「動画キュレーターが各フレームの重要なコンテンツを手動で特定し、フレーム間の遷移を追跡し、動画全体にわたってそれに応じて切り取り領域を調整する」必要があり、本来であれば他の作業に費やすべき時間と労力が浪費されている。
Autoflipは、ビデオスタビライザーのような技術を適用し、カメラが映像内の重要な部分に焦点を合わせ続けるフレームワークでこの問題を解決しようとしています。Googleのチームによると、MediaPipeフレームワーク上に構築された「機械学習対応のオブジェクト検出および追跡技術を用いて、ビデオコンテンツをインテリジェントに理解する」ことで、動画のフレームをリアルタイムで調整できるとのことです。
さらに、Autoflipは「シーンの変化を示す構図の変化を識別し、処理するシーンを分離する」ことで、シーン間の調整を自動で行うと同社は述べています。最後に、各シーンを分析し、静止フレームを使用するかトラッキングモードを使用するかを判断します。
これはかなり優れており、ビデオを静的に切り取るよりも明らかな利点がありますが、映画やテレビ番組（ショット全体を表示できることがより重要）よりも、ニュース映像や Snapchat ビデオなどに適していると思われます。
これらすべてがどのように機能するかについてのより技術的な説明については、Google AIチームがブログ記事で様々な技術について解説しています。プロジェクトのソースコードと、実際に試してみるための手順はGitHubで公開されています。
