今週、iPhone 11ユーザーは、強化されたニューラルエンジンと「マッドサイエンス」のおかげで、カメラの無償アップグレードを受けられる予定です。Deep Fusionと呼ばれるこの技術は、特に過酷な環境でも驚くほど精細な写真を撮影できるように設計されています。私は数週間かけて、iPhone 11 Proでこのコンピュテーショナルフォトグラフィーソフトウェアのベータ版と、別のiPhone 11 Proで古いカメラソフトウェアを比較テストしました。実のところ、Deep Fusionは機能しますが、それは非常に特殊な状況でのみ機能します。
Deep Fusionについてまず知っておくべきことは、Appleがこれを非常に誇りに思っているということです。同社は9月のイベントでこの機能のプレビューに数分を費やし、「ニューラルエンジンが出力画像の生成を担う初めての機能」だと宣伝しました。実際には、iPhoneが合計9枚の写真を撮影し、新しい超高性能A13 Bionicチップに搭載されたニューラルエンジンが各画像から最良のピクセルを抽出し、Deep Fusionを搭載していないiPhoneよりもディテールが豊かでノイズの少ない写真を再構成します。
このプロセスをもう少し詳しく説明しましょう。思ったほど分かりやすく説明しているわけではありません。iPhoneカメラが9枚の露出のうち8枚で行っていることは、ブラケット撮影、つまり同じ写真を異なる設定で撮影する昔ながらの写真撮影テクニックに似ています。この場合、iPhoneカメラはシャッターボタンを押す前に、4枚の短時間露出フレームと4枚の標準露出フレームを撮影します。（iPhoneカメラは、Deep FusionやSmart HDR撮影で必要になった場合に備えて、カメラアプリが開いている間は常にバッファフレームの撮影を開始します。）シャッターボタンを押すと、カメラは1枚の長時間露出フレームを撮影し、これによりディテールがさらに引き出されます。
これらすべての露出は、すぐにDeep Fusionの2つの入力になります。最初の入力は、最も詳細な情報を持つ短時間露出のフレームです。2つ目は、Appleが「合成長時間」と呼ぶもので、標準露出の写真と長時間露出の写真を合成したものです。短時間露出の写真と合成長時間の写真はどちらもニューラルネットワークに送られ、4つの異なる周波数帯域で分析されます。帯域ごとに詳細な情報が得られます。各画像にはノイズ低減処理が施され、最終的に2つの画像がピクセル単位で合成されます。このプロセス全体には約1秒かかりますが、カメラアプリはプロキシ画像をキューに追加します。そのため、ニューラルエンジンがすべての写真をDeep Fusionしている間、ユーザーは撮影を続けることができます。
Appleのコンピュテーショナルフォトグラフィー機能に注目したことがある方なら、このDeep Fusionの状況は、昨年iPhone XSに搭載されたスマートHDR機能によく似ているように思えるかもしれません。理論的には、iPhoneはシャッターラグを防ぐために、写真撮影前にこれらのバッファ画像を絶えずキャプチャしているので、似ています。しかし実際には、Deep Fusionは、異なる露出からハイライトとシャドウを抽出してより多くのディテールを捉えるだけではありません。個々のフレームで失われている可能性のあるディテールを保持するために、超微細レベルで処理を行っています。
まあ、ちょっと複雑かもしれませんね。新しいiPhoneでDeep Fusionを使う場合、その魔法がどのように起こるのかを考える必要はありません。デバイスが自動的に起動するからです。Deep Fusionがいつ機能するか、いつ機能しないかについて、知っておくべき重要な点がいくつかあります。Deep Fusionは超広角カメラでは機能しません。広角カメラでは、低照度から中照度の状況でのみ機能します。望遠カメラでは、非常に明るい光ではほとんど機能しない場合を除き、ほぼ常に機能します。
Deep Fusionが絶対に動作しないシナリオがもう一つあります。カメラアプリの設定で「構図」の下にある「フレーム外を撮影する」という新しいオプションをオンにしている場合、Deep Fusionは動作しません。Deep Fusionを試してみたい場合は、このオプションをオフにしておいてください。
細かい技術的な説明はここまでにして、Deep Fusionの計算写真というマッドサイエンスが実際にどんな感じなのか、掘り下げていきましょう。正直に言うと、それほどすごいとは感じません。iOS 13.2パブリックベータ版でDeep Fusion機能が登場した直後、私はGizmodoのiPhone 11 Proにソフトウェアをインストールしました。私のiPhone 11 Proには、Deep Fusion非搭載の以前のiOSバージョンをそのまま使いました。そして、あらゆる環境で大量の写真を撮影しました。正直なところ、Deep Fusionを使った写真と使っていない写真の違いがわからないことがよくありました。
グランドセントラル駅の中央にある時計を、iPhone 11 Proの望遠カメラで撮影した2枚の写真を見てください。Deep Fusionを使って撮影した写真と、使っていない写真を見分けられますか？写真の下隅に追加した基本的な記号がわかる方は、おそらく見分けられるでしょう。そうでなければ、かなり目を細めて見ないとわかりません。違いがあります。時計の数字をよく見てください。Deep Fusionで撮影した写真の方がはるかに鮮明です。アメリカ国旗の波紋や、その周りの石柱の微妙な質感も同様です。Deep Fusionなしの写真では、これらの部分が少しぼやけて見えることに気づかないかもしれませんが、Deep Fusionで撮影した写真を見ると、細部が確かに鮮明になっていることがわかります。
微妙ですよね？しかし、この写真では、ズームインしなくても、Deep Fusion版の方が鮮やかでノイズが少ないことがはっきりと分かります。どちらの写真も、低照度環境におけるiPhone 11 Proの優れた性能を示しています。グランド・セントラル駅のメインコンコースは驚くほど暗く、特にこれらの写真が撮影された夕暮れ時は暗いです。どちらも良い写真ですが、Deep Fusion版の方がわずかに優れています。
では、別の例を見てみましょう。こちらは、暗く雨が降る日にマンハッタンのミッドタウンにある高層ビル群を捉えた、退屈ながらもディテールが豊かな一枚です。この場合、通常のiPhone 11 Proの写真とDeep Fusionを使った写真のわずかな違いを確認するには、実際にズームインする必要があります。非常によく似ています。右側の画像では、ノイズが少し少なく、窓の反射がより鮮明です。私が見つけた大きな違いは、フレームの下部近くにある白い手すりです。Deep Fusionを使っていない写真では、ほとんどぼやけて見えます。そして、グランドセントラル駅の写真の時計の数字と同じように、Deep Fusionを使った写真では白い手すりが際立っています。
Deep Fusion対応カメラと非対応カメラをテストしている間、私はずっとこの違いを探すという作業に没頭していました。どちらのカメラも素晴らしい出来栄えでしたが、Deep Fusion対応カメラは特定の環境で時折、より優れた結果を出すことがありました。繰り返しますが、Deep Fusionは広角カメラでは低照度環境でのみ機能し、望遠カメラで撮影した写真では、非常に明るいシーンでない限り、通常はうまく機能します。
しかし、毛皮の写真を撮り始めてから状況は一変しました。理論上、毛皮の写真こそDeep Fusionが真価を発揮する場面です。細い毛はぼやけてしまいがちですが、ニューラルエンジンがこれらのディテールを識別し、Deep Fusionの写真に合成できるからです。Appleが最近の基調講演でDeep Fusionを披露する際に、細かいテクスチャのセーターを着た髭面の男性を選んだのは、まさにこのためかもしれません。私にとっての細かいテクスチャのセーターを着た髭面の男性は、ピーナッツという名前の子犬です。
かわいいでしょう？ピーナッツは体重約1.4kgで、極上の柔らかさを誇る鹿毛に覆われています。毛一つ一つが微妙に色が異なり、まるで地元のドッグサロンでハイライトを入れたかのような印象を与えます。どちらの写真も天使のようですが、左の写真では頭頂部と耳の周りの繊細なハイライトがぼやけているのがはっきりと分かります。右のDeep Fusion写真では、ハイライトが鮮明に写っています。もっとよく見てみましょう。
この場合、Deep Fusionの力がない写真は、場所によってはピントがぼやけているように見えます。ズームインすればするほど、Deep Fusionの力のなさが際立ちます。言い換えれば、Deep Fusionなしでピーナッツの写真を撮りたくない、ということです。
ここで、Deep Fusion の謎のピースに触れたいと思います。そして、これはちょっとしたパズルだと思います。Deep Fusion がパズルなのは、ワークフローが分かりにくく、私のテストでは、技術が実際に機能しているかどうかさえ判断に迷うことが時々あったからです。また、この機能の最初のバージョンでは、こうした微妙な違いが取るに足らないように思えるのも、パズルです。例えば、Deep Fusion がたまにしか機能せず、しかも非常に特殊な方法でしか機能しないのであれば、なぜ Apple は iPhone イベントであれほど大々的に宣伝し、Deep Fusion を一般公開するまでになぜ 2 か月もの開発期間を要したのでしょうか。
これらの質問の答えは実はわかりませんが、ある仮説はあります。私の仮説では、Deep Fusion は Apple がこれまでに開発した中で最も洗練されたコンピュテーショナル フォトグラフィー技術の 1 つであり、現時点ではその機能の表面に触れたに過ぎません。Apple が Deep Fusion を基盤として、より印象的な機能を開発する将来が私には見えています。Google Pixel 4 の写真機能、特に Super Res Zoom は、そうした将来を垣間見せてくれるかもしれません。Google の Super Res ズームは、Pixel 4 の光学ズームとデジタルズームを組み合わせて、超鮮明なズーム写真を提供します。Apple がすでに画像を融合してより詳細な部分を撮影する方法を模索しているのであれば、特に現在、主力製品である iPhone には背面に 3 つのカメラが搭載されていることを考えれば、同社がズーム機能をさらに改良する方法を検討する可能性は十分にあります。
しかし、これはあくまで推測の域を出ません。今のところ、Deep Fusionがあなたの心を揺さぶるかどうかは問題ではありません。iPhone 11またはiPhone 11 Proをお持ちの方は、iOS 13.2にアップグレードすると、この機能を無料で利用できます。ただし、古いiPhoneをお持ちの方は、Deep Fusionの真価を試すためだけにアップグレードするのは絶対に避けるべきです。この機能は確実に進化し、来年登場するものは、おそらく今あるものよりもさらに素晴らしいものになるでしょう。とはいえ、iPhone 11とiPhone 11 Proのカメラモデルはどちらも非常に優れています。今年のiPhoneラインナップに新たに搭載された超広角カメラを手に入れるためだけにアップグレードする人もいるかもしれません。私自身、この機能で大いに満足しています。
