Google I/O: Android 向け Gemini AI に搭載される注目の機能

Google I/O: Android 向け Gemini AI に搭載される注目の機能

GoogleのAndroidにおけるここ数年で最高の新機能は「Circle to Search」です。だからこそ、本日のGoogle I/Oのオープニング基調講演でも注目を集めました。Googleは、Androidオペレーティングシステムを支えるAI「Gemini」の最新アップデートを発表しました。新機能の多くは便利そうですが、予想よりも地味に感じられるかもしれません。

Googleは、開発者会議2日目となる5月15日(水)にAndroidに関する詳細情報を発表すると発表しました。今後の発表にご期待ください。

宿題を検索するにはサークルしてください

スクリーンショット: Google
スクリーンショット: Google

Geminiの最初の大型アップデートが、「円を描いて検索」ジェスチャーで利用可能になりました。本日より、長押しショートカットを使って、物理や数学の様々な文章題の解答を検索できるようになりました。Google検索では、クエリを実行するとステップバイステップの説明が表示されます。この機能を使用するには、検索ラボメニューから数学と文章題のヘルプをオプトインする必要がありますのでご注意ください。

Googleはブログで、これらすべてがLearnLM(学習向けに最適化された新しいモデルファミリー)によって可能になったと称賛しています。正直なところ、ミレニアル世代の年長者である私は、今の子供たちがこのような支援を受けていることを羨ましく思っています。Googleは今年後半に、グラフや図表を認識する機能など、STEMの宿題支援機能をさらにリリースする予定です。

ジェミニはより多くの文脈を得る

Gemini と他のアプリ間で生成画像をドラッグ アンド ドロップします。
Geminiと他のアプリ間で生成画像をドラッグ&ドロップできます。画像: Google

Google Geminiにもっと多くのコンテキスト機能を求めていたなら、今年はさらに充実します。GoogleはI/Oで、今後のアップデートでGeminiを呼び出して使用中のアプリと連携できるようになると発表しました。例えば、Geminiで生成された画像をメッセージなどの別のアプリにドラッグ&ドロップしたり、YouTube動画を別のアプリに移動することなく詳細に閲覧したりできます。Gemini Advancedの加入者には、PDFをクエリして簡単な概要を表示するオプションも提供されます。このアップデートは「今後数ヶ月かけて」展開される予定です。

Gemini Nanoはデバイス上でマルチモーダル化を実現

詐欺電話が行われている疑いがある場合に Gemini がポップアップ表示するダイアログ ウィンドウの例。
詐欺電話の疑いがあるとGeminiが判断した際にポップアップ表示されるダイアログウィンドウの例。画像: Google

GoogleのGeminiファミリーの中で最小のモデルであり、Pixelハードウェア上で動作するGemini Nanoも、今年後半にPixel対応デバイスでアップデートされる予定です。まず、Gemini Nanoはマルチモーダル化されます。AIはついにテキスト入力と音声または動画を同時に処理できるようになります。これは、詳細情報が提供されない画像やインターフェース要素の説明をNanoが生成できるTalkBackなどのAndroid機能にメリットをもたらします。

Gemini Nanoは、Googleが基調講演で発表した電話アプリの詐欺検知機能にも搭載されています。この機能は、デバイス上の会話をスキャンし、詐欺行為の有無をリアルタイムで判断します。Googleによると、会話はハードウェア側で処理され、サーバーには送信されません。Nanoはトリガーとなる単語やフレーズを検知し、詐欺に巻き込まれている可能性があるというフィードバックを提供します。

開発者向けGemini

マイクロソフトのスティーブ・バルマー氏が最初にこう言いました。「開発者会議は、開発者、開発者、そして開発者のための会議です!」Googleは開発者に対し、Android StudioでGeminiが利用できることを改めてお知らせしました。開発者はコーディングとコンパイルに役立つGemini 1.5 Proへの早期アクセスが可能です。

Tagged: