Facebook の Connect イベントの大部分は、Oculus Quest 2 のように、今すぐ (または少なくとも近い将来) 使用できるテクノロジーに焦点を当てていましたが、昨日のライブストリーム プレゼンテーションでは、Oculus の主任科学者 Michael Abrash 氏も、Facebook が私たちの未来を創造するために行っていることに関する強力なビジョンの概要を説明しました。どうやら、それは拡張現実の分野であるようです。
ARは、従来のスマートフォンやコンピューターでは実現できない幅広い機能とツールを提供しますが、最大の課題の一つは、多層的な情報を統合し、それを分かりやすく理解しやすいインターフェースに変換できるフレームワークを構築することです。そこでFacebookがこれらの問題をどのように克服しようとしているのかを説明するため、アブラッシュ氏は次世代ARインターフェースに関する研究を、入出力、機械知覚、インタラクションという3つの主要カテゴリーに分類しました。
入出力に関して、アブラッシュ氏はARに「エンゲルバート・モーメント」が必要だと言及しました。これは、ダグラス・エンゲルバート氏が1968年に発表した伝説的なプレゼンテーションに由来しており、プロトタイプのコンピュータマウスを含む数々の基礎技術をデモしました。マウスとポインターを使ってグラフィカルユーザーインターフェース（GUI）を操作することは、現代のコンピュータの指針となり、後に今日のモバイルデバイスで使用されているタッチベースの入力へと発展しました。
https://www.youtube.com/watch?v=aqripcSmv_I
しかし、ARではマウスや従来のキーボードを実際に使用することはできないため、Facebookは全く新しい入力方法の開発に取り組んでいます。Facebookの研究はまだ初期段階ですが、同社は筋電図法（EMG）とビームフォーミングオーディオという2つの潜在的な解決策を開発中です。
EMGの仕組みは、手首にセンサーを装着することで、小型デバイスが脳から手へと送られる電気信号を傍受し、直接的でありながら非侵襲的な新しい種類の神経入力を効果的に作り出すというものです。アブラッシュ氏によると、EMGが捉える信号は比較的強力で明確であるため、EMGセンサーはわずか1ミリメートルの動き、あるいは場合によっては思考のみから生じる入力も検出できるとのことです。
これがSF的なコンピューター脳インターフェースのように聞こえるなら、それも無理はありません。しかし最終的には、EMGを使うことで、3D空間でARオブジェクトを操作したり、キーボードやマウスでは再現できないような方法でテキストを書いたりできるようになるでしょう。アブラッシュ氏によると、EMGを使うことで、現実世界では持っていない機能、例えば6本目の指を人間に与えたり、Facebookのデモで示されたように、生まれつき手の機能が制限されている人が5本の指を操作したりできるようになるかもしれないとのことです。
Facebook は、コミュニケーションをより明瞭にし、理解しやすくするために、標準的なアクティブ ノイズ キャンセリングよりもさらに優れた、背景ノイズの除去、話者の強調、オンラインと対面の両方で話している人々の連携を支援するビームフォーミング オーディオを検討しています。
機械知覚について言えば、アブラッシュ氏は、VRやAR内のオブジェクトと現実世界での見え方との間のギャップを埋めるコンテキストマッピングをサポートするには、基本的なコンピュータービジョンの域を超える必要があると述べています。これは重要な点です。例えば、ARで誰かと話をしようとしているときに、相手のアバターが近くの壁に映ったり消えたりし続けたり、近くの椅子に座っているのではなくテーブルの真ん中に現れたりすると、非常に気が散る体験になってしまいます。コンピューター生成の木やバーチャルアートなどのARオブジェクトについても同様です。理想的には、それらは空中に浮かんでいて通り過ぎるたびに視界を遮るのではなく、窓辺や物理的な壁に置かれるべきです。
これらの課題を克服するため、Facebookは物理的な位置を追跡し、周囲の状況をインデックス化し、さらには周囲の物体の種類、その機能、そしてあなたとの関連性まで認識できる共通座標系の開発に取り組んでいます。残念ながら、これらすべての情報を一箇所に集める簡単な方法はありません。そこでFacebookは、こうした仮想の多層モデル（アブラシュ氏はこれをライブマップと呼んでいます）を作成するために、Project Ariaを立ち上げました。
Project Ariaは、豊富な地図情報を収集するための研究ツールとして厳密に設計されており、GoogleマップやAppleマップに搭載されている車載式やバックパック式センサースイートの小型版と言えるでしょう。ただし、Ariaではすべてのセンサーがスマートフォンとペアリングされたメガネに詰め込まれています。そのため、Project Ariaは非常に持ち運びやすく、比較的目立たず、周囲の環境のライブマップを作成できます。
Project Ariaは、ライブマップの作成に必要なデータ収集を容易にするだけでなく、研究者がどの種類のデータが最も重要かを判断することも可能にします。また、Facebookが設計した特別なプライバシーフィルターにより、機密性の高い可能性のあるデータがAriaからアップロードされるのを防ぎます。FacebookはAriaを一般公開または販売する予定はありませんが、今月から実環境でのAriaのテストを開始する予定です。
最後に、包括的なARインタラクションに関して、Facebookはビデオ通話やVRチャットといった「高帯域幅に特化したインタラクション」と、常に利用可能な新しいタイプのビジュアルインターフェースを組み合わせることに取り組んでいます。これは現在、「超低摩擦コンテキストAIインターフェース」（ULFCAII）と呼ばれています（なんて言い方でしょう？）。これは明らかにFacebookのAR研究の中でも最も先進的な部分ですが、アブラッシュ氏によると、理想的にはULFCAIIは可能な限りシンプルで直感的でありながら、入力を少なく、場合によっては全く入力を必要としないようになるとのことです。AIは、ユーザーが尋ねなくても、ユーザーが何をしようとしているのかを理解できるようになるでしょう。
実用化においては、家を出る前に今日の天気を表示するウィンドウを自動的にポップアップ表示するARディスプレイや、その時の行動に基づいて着信をミュートするタイミングを判断するARディスプレイなどが考えられます。また、屋内で必要な標識や情報をすべて表示したターンバイターン方式の地図を表示したり、あらゆる種類のDIYプロジェクトを段階的に説明するレスポンシブな指示書も利用できるようになります。
これらはすべて非常に幻想的で未来的な話に聞こえるかもしれませんが、アブラッシュ氏は、人々がすでにこれらの高度なコンピューターインターフェースの基盤を築き始めていることを強調しました。そして、これらの初期デモをほんの少し垣間見ただけでも、次世代ARデバイスの登場は見た目ほど遠いものではないかもしれません。
Abrash 氏のプレゼンテーションの完全な再放送を見るには、ここをクリックして Facebook の公式ストリームにアクセスし、1:19:15 までスクラブするか、上に埋め込まれたビデオまでスクロールしてください。
