Home

Fujitsu Auto Data Wrangling

機械学習を行うまでの工程で、これまで人間が最も労力をかけていたモデル構築のためのデータ前処理、これも AI が解決します。

機械学習における課題

機械学習を活用する際、従来は AI モデルの構築が事前に必要でしたが、AI の進化によって、現在ではモデル構築自体も AI で自動化することが可能になりました。
しかし一方で、そのモデル構築のために必要なデータ自体はいまだ人間が準備、整形する必要があり、現在でもデータの前処理に多くの時間と労力が費やされています。

本技術による解決策

AIをデータ前処理段階にも活用することで、従来かかっていた時間を約 90% 削減。
生み出された時間で、より高度な分析やモデル開発に充てることが可能となります。
また、機械学習ツール適用時のエラー減らす処理や、予測精度の向上に寄与しそうな整形、強化を自動で行うことで、機械学習モデルの開発期間短縮と精度向上を実現します。

Fujitsu-Auto-Data-Wranglingがもたらす価値

大幅な時間短縮	データ前処理にかかる時間を従来比約 90% 削減、データサイエンティストの貴重な時間を、本来やるべきことに充てられます。
機械学習モデル精度向上	自動化されたデータクレンジングと強化により、機械学習モデルの精度を最大 15% 向上させることが確認されています。
自然言語データの活用	自然言語で記述されたデータ項目を自動的に処理し、機械学習に活用できる形式に変換することで、データ活用の幅を大きく広げます。
API 提供による柔軟な連携	提供する Web API を通じて、既存システムとのシームレスな連携が可能となり、様々な業務プロセスへの迅速な導入を実現します。

デモ
アプリデモアプリのお試しはこちら

技術概要

ターゲット業界・ユーザー

機械学習を活用するあらゆる業界・業種・サービスが対象。データが整備されていない現場で効果を出すことを目指す。

ターゲット業界・業務の課題

データ分析プロジェクトにおいて、データの前処理（クリーニング、変換、統合など）に膨大な時間と労力がかかっている。データの質が低く、分析に適した状態にするための作業が複雑で、専門知識とスキルが必要となる。そのため、分析開始までのリードタイムが長く、ビジネス機会の損失につながる。また、データサイエンティストなどの専門人材の不足も大きな課題となっている。

技術課題

現場の表データに機械学習を適用するには、データ整形などの前処理に工数がかかっている
通常の機械学習技術では多種多様なテキスト項目をそのまま扱えず、精度向上に限界がある

解決策

LLMを用いた型推定に基づく自動データ整形
LLMを用いてテキスト項目を分析し、新たなデータ項目を追加する自動データ強化

富士通の技術優位性

データ準備の工数削減（手動でのData Wranglingと比べて９０％の削減）
他社のData Wranglingツールでは対処できないテキスト項目に対する自動データ強化の実現
本技術の適用により機械学習の精度が１５％向上（Fujitsu AutoMLを用いた場合）

Fujitsu Auto Data Wranglingがもたらす価値（詳細）

表データの前処理の自動化により、データサイエンティストやデータエンジニアは、より高度な分析業務に集中できるようになる。これにより、より迅速かつ正確なビジネス意思決定が可能となる。

Data Cleaning（データ整形）：Fujitsu AutoML等の機械学習ツールに適用する際に、エラーが起きないよう、入力データの形式を整える
Data Enrichment（データ強化）：入力データの特徴列を分析し、予測精度の向上に寄与しそうな特徴列を新たに作成・追加する

注意）機械学習そのものを行うものではありません。データの学習・分類・予測等の機械学習処理については、Fujitsu AutoML等の既存の機械学習ツールを用いてください。

利用シーン

エンドユーザー
- 手入力データやフォーマットが揃っていないデータを保持しているが有効活用できていない様々な部門や業種のユーザー
アプリ開発者
- これまでデータが汚く利活用できていないところに、本技術を使ってデータを整形加工し、機械学習等を取り入れることができるようになる。もしくは機械学習を導入済みでも機械学習の精度を高めることができる。

事例・ユースケース

進行中のPoCあり

技術お試し

デモアプリ：Webアプリのお試し
デモ動画
PoCの実施も可能です

ドキュメント

資料名	説明
手順書	Fujitsu Auto Data Wranglingデモアプリの試用手順の解説書
OSSリスト	デモアプリで使用しているOSSのリスト