非構造化データとは
非構造化データとは、行と列のテーブル形式に収まらないデータの総称である
読み: ヒコウゾウカデータ
行と列のテーブル形式に収まらないデータの総称である。メール本文、契約書PDF、会議の録音、監視カメラの映像、SNSの投稿。企業が保有するデータの80%以上はこの形式で存在しており、AI活用の成否はこの膨大な非構造化データをどう扱うかにかかっている。
かんたんに言うと
Excelの表に入らないデータすべてが非構造化データにあたる。議事録、写真、動画、音声ファイルなど、日常業務で生まれるデータの大半がこれに該当する。
売上や在庫のように整理できないデータが企業資産の大半を占めている
売上や在庫のような数値データは、データベースのテーブルに格納すれば終わる。構造化データと呼ばれるものである。問題は、業務で生まれるデータの大部分がこのテーブルに収まらないことにある。
営業担当が書いた商談メモ、Slackで飛び交う技術的な相談、顧客から届くクレームメール。これらは全て自由記述であり、行と列の枠組みでは扱えない。
IDCの調査によれば、世界で生成されるデータの約80%が非構造化データとされる。企業の情報資産のほとんどが、誰にも検索されないまま各所に散らばっている。
テキスト、画像、音声、動画に分かれるデータの種類
非構造化データは大きく4種類に分かれる。
テキストデータが最も身近で、契約書、社内Wiki、顧客レビューなどが含まれる。画像データは製品写真、設計図面、医療画像など。音声データはコールセンターの通話録音やポッドキャスト。動画データは研修映像や工場の監視カメラ映像がこれにあたる。
それぞれ処理に必要な技術が異なる。テキストなら自然言語処理、画像ならコンピュータビジョン、音声なら音声認識モデル。一口に「非構造化データの活用」と言っても、実際にはデータの種類ごとに全く別のパイプラインを組む必要がある。
RAGやテキストマイニングとの関係
非構造化データの活用で近年注目されているのがRAGである。社内のPDFやWordファイルをエンベディングで数値化し、ベクトルデータベースに格納する。ユーザーが質問すると、関連するテキスト片を検索してLLMに渡し、回答を生成させる。
テキストマイニングも古くから使われてきた手法で、大量の文書から傾向やパターンを統計的に抽出する。顧客レビューの感情分析やコールセンターのFAQ自動化自動分類などに使われている。
とはいえ、どちらの手法も前提条件がある。元のデータが読み取れる状態になっていなければ話にならない。スキャンPDFのOCR精度が低い、音声データの書き起こしが不正確、そもそもファイル名が意味不明。こうしたデータ品質の問題が最初の壁になる。
活用を阻む現実的なハードルと対処の方向性
多くの企業がPoC段階で躓くのは、データの整理が追いついていないからである。ファイルサーバーに10年分の資料が無秩序に溜まっている状態で、AIに読ませても精度は出ない。
まずはデータのカタログ化から始めるのが現実的な進め方になる。どこに何があるかを把握し、重複や不要ファイルを整理する。その上でOCRや音声認識の精度を検証し、使えるデータと使えないデータを仕分ける。
地味な作業だが、ここを飛ばしてAIツールを導入しても期待した成果は得られない。非構造化データの活用はAIの問題ではなく、データ管理の問題である。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。