ニュース
パナソニック、言葉で画面変化を先読みするAI技術を開発 業務アプリ操作の成功率54%に向上
製造・物流・保守の現場でスマホやタブレットの操作を人に代わって担う「AIエージェント」は、社内独自の業務アプリに弱いという課題を抱えてきました。この弱点を補う新技術が、画面の変化を画像ではなく言葉で先読みする方式で成果を出しています。
何が起きたか
パナソニック ホールディングス（パナソニックHD）とパナソニック R＆D カンパニーオブアメリカ（PRDCA）は10月21日、カリフォルニア大学ロサンゼルス校（UCLA）と共同で、スマートフォンなどのモバイル端末上の業務をAIが先を予測しながら支援する「世界モデル」を開発したと発表しました。
この技術の特徴は、操作後の画面変化を画像ではなく自然言語で予測する点にあります。「ボタンを押すと設定画面が開く」「入力欄が表示される」といった、操作によって生じる重要な状態変化だけを抽出して言葉で表す仕組みです。
学習には、Android端末での操作軌跡をもとにした約140万件のデータセット「Mobile World」と、評価用のベンチマーク「Mobile WorldBench」を新たに構築しました。この世界モデルを組み込んでAIエージェントのタスク実行を評価したところ、組み込まないベースライン手法では成功率が46.9%だったのに対し、組み込んだ場合は54.3%まで向上しています。モバイル端末のデータのみで学習したにもかかわらず、PCのウェブブラウザー環境でも成功率が45.4%から49.3%に高まったといいます。
背景・解説
「世界モデル」とは、環境の状態や変化の仕組みをAIに学習させ、現在の状況や行動に応じてその後の状態を予測する技術を指します。従来の主流な手法は、操作後の画面を画像としてそのまま再現・予測するものでした。しかしこの方法では、画面配置やレイアウト、時刻、通知、バッテリー残量といった操作に直接関係のない情報まで正確に生成する必要があり、膨大な学習データと計算コストがかかる問題を抱えていました。
パナソニックグループは2032年に向けて「AIインフラと社会オペレーションを支える」という成長戦略を掲げています。製造・物流・保守の現場では労働力不足が深刻化しており、人間に代わってスマートフォンやタブレット上の業務アプリを操作するAIエージェントへの期待が高まっています。ただし企業独自の社内システムは大規模言語モデル（LLM）の学習データに含まれないため、初見の画面でAIが次の操作結果を正確に見通すことは難しいという障壁がありました。今回の技術は、この障壁を下げる狙いで開発されたものです。
仕事や業務への影響 — AI Topicaの見方
社内に独自の業務アプリを抱える企業ほど、この技術の恩恵を受けやすくなります。例えば、従業員50人規模の物流会社で、入出庫や在庫更新を独自の専用アプリで管理している場合、従来のAIエージェントは画面構成を学習できず導入をためらう場面が多くありました。今回の方式は画面変化を言葉で抽象化するため、個別アプリへの適応にかかる開発コストを抑えやすくなります。
成功率が46.9%から54.3%へと7.4ポイント向上した点も実務上の意味が大きいところです。100件の操作のうち7件前後が人の手を介さず完了に近づく計算になり、現場の確認作業や手戻りの削減につながります。保守点検の報告作成を担当する担当者が1人しかいない中小企業なら、こうした成功率の底上げは記録作成の遅延リスクを減らす効果が期待できます。
一方で、この技術は今のところパナソニックグループ内での開発・評価段階にとどまっています。他社が自社の業務アプリにそのまま適用できる製品やサービスとして提供される段階ではありません。情報システム部門の担当者は、自社で同様の仕組みを導入する際には画面変化のラベル付けやデータセット構築にかかる工数を見積もっておくべきです。
不確かな点・注意
今回の発表は技術開発の成果報告であり、具体的な商用提供の時期や対象業界は明らかにされていません。パナソニックHDは製造現場での実績・検査結果の登録、物流現場での入出庫や在庫更新、保守現場での点検記録作成などへの適用を目指すとしていますが、外部企業への提供計画には触れられていません。
また、成功率の数値はパナソニック側が構築した評価環境「AndroidWorld」やベンチマーク「Mobile WorldBench」によるものです。実際の企業の業務アプリで同様の成功率が得られるかどうかは、独立した第三者による検証が示されていないため分かりません。ウェブブラウザー環境での成功率向上についても「推測される」とする記述にとどまっており、断定的な結論はまだ出ていない点に注意が必要です。