Home

強化した時空間理解能力で
現場をサポートする
映像解析型
現場作業支援エージェント

現場規則や映像データなどから現場を理解し、安全で効率的な作業を実現するAI

作業現場における課題

日本の多くの現場では高齢化と人材不足に悩まされています。
その結果、現場管理者の負担が増え、人的ミスによる事故やインシデントへの対応に遅れが生じる可能性が高まっています。
また、膨大なデータの分析に時間がかかり、迅速な意思決定が妨げられていました。

現場作業支援エージェントを使えば

実際の映像から距離を計測、設定されたルールと照らし合わせ、リアルタイムでインシデントを自動検知。
自動生成されるレポートにより、迅速な報告と正確な状況把握・分析が可能になり、効率的な意思決定を支援します。
さらに長時間映像をもとにした原因分析も可能となります。

現場作業支援エージェントがもたらす価値

安全性向上	リアルタイムなインシデント検知で、事故防止と安全管理を強化
データに基づく意思決定	リアルタイムデータと自動生成レポートにより、より正確で迅速な意思決定を支援
生産性、作業効率の向上	作業状況の把握と的確な指示により、作業時間を短縮し、生産性を向上
負荷・コスト削減	長時間映像の解析をAIが行うことで、作業員や現場管理者の負荷を軽減事故やミスによる損失を減らし、コスト削減にも貢献

技術概要

ターゲット業界・ユーザー

製造、物流、公共・道路管理、建築業などの現場業務に従事する従業員
現場管理者および作業者

ターゲット業界・業務の課題

製造や物流をはじめとする現場において人材不足や熟練者の高齢化が進む中、生産性や品質を確保しながら、働きやすく安心・安全な現場づくりを実現していくことが課題となっています。人と協調するAIエージェントは、デスクワークや会話支援において大きな広がりを見せていますが、現場作業の支援に向けてはさらなる進化が求められています。

技術課題

現場固有の状況への対応
- 従来のマルチモーダルLLMは、現場固有の事象を映像から認識することが苦手でした。多様な状況に柔軟に対応できるAI技術が必要とされています。
長時間映像の処理
- マルチモーダルLLMは、サイズの大きい長時間の映像を入力する際にフレームを間引くため、時系列で変化のある映像を分析する際に回答の精度が落ちるという問題がありました。そのため、効率的に映像情報を処理し、必要な情報を抽出する技術が求められています。

解決策

現場理解能力の拡張
- マルチモーダルLLMが映像から認識できない現場固有の事象について、指示書や安全規則などドキュメントの言語情報を対応付けて学習し、AIエージェントの映像理解能力を拡張することができます。
映像のコンテキストを記憶
- 人間の「選択的注意」メカニズムを模倣することで、重要な情報に絞って映像を記憶します。主題に対する情報を保持しつつ、処理に必要なメモリ容量を削減します。これにより、長時間の映像データも扱うことができるようになります。

富士通の技術優位性

ドキュメント情報をもとに現場理解能力の拡張を行う自己学習技術
- マルチモーダルLLMが映像から認識できない事象について、ドキュメントの言語情報を対応付けて学習し、AIエージェントの映像理解能力を拡張することができます。人と物との空間的関係性の理解能力や現場固有の物体認識、人の個別作業の認識など、現場作業支援に必要な様々な能力をAIエージェントに追加できるようになります。
映像を効率的に解析するコンテキスト記憶技術
- 「選択的注意」により、主題に適合するフレーム内の特徴量のみを選択し、圧縮して映像コンテキストメモリとしてビデオメモリに格納します。映像コンテキストメモリを用いることで、フレームを間引くことなく長時間映像をマルチモーダルLLMが扱えるようになります。2時間以上の映像を含む長時間映像に対する質問回答のベンチマークを行った結果、開発方式は従来のマルチモーダルLLM向けの映像圧縮技術と比較して最小の記憶容量で世界最高の回答精度を達成しました。

現場作業支援エージェントがもたらす価値（詳細）

製造、物流などの現場に設置されたカメラ映像を空間認識し解析するとともに作業指示や規則などのドキュメント情報を参照することで、自律的に現場改善の提案や作業レポートの作成を行い、人の作業を支援します。
人と物との空間的関係性の理解能力や現場固有の物体認識、人の個別作業の認識など、現場作業支援に必要な様々な能力をAIエージェントに追加することで実現します。
AIエージェントの性能評価では、「FieldWorkArena」をご利用いただけます。