RAGとは
RAGとは、大規模言語モデルに外部データベースの検索機能を組み合わせ
読み: ラグ
大規模言語モデルに外部データベースの検索機能を組み合わせ、自社の独自データや最新情報に基づいた正確な回答を生成する技術。モデル単体では参照できない社内規定や非公開データの活用を可能にする
かんたんに言うと
記憶喪失の天才学者が、常に最新の専門書が揃った図書館の司書から必要なページだけを渡されて回答を作成するような仕組みである。
学習データの外にある最新情報をLLMに渡すRAGの基本概念
ChatGPTの裏側で動くLLMは、学習時点のデータしか知らない。昨日発表された新製品のスペックを聞いても平気で嘘をつく。これがハルシネーションである。
業務でこの嘘は致命傷になる。
そこでRAGの出番となる。ユーザーの質問に対して、まず外部のデータベースから関連するテキストを検索し、その結果をLLMに渡して回答を作らせる。モデル自体を再学習させることなく、最新情報や社内の非公開データを前提とした回答を引き出せる。
ただ、何でもかんでもRAGにすればいいわけではない。検索対象のデータがゴミなら、出力される回答もゴミになる。
RAGの処理フロー
質問入力から回答生成までの技術的な仕組み
裏側で起きていることは意外と泥臭い。
まず、社内のPDFやWord文書を細かく分割し、エンベディングという処理で数値の配列に変換する。これをベクトルデータベースに格納しておく。PineconeやWeaviateあたりがよく使われる。
ユーザーが質問を入力すると、その質問文も同じく数値化され、データベース内で最も意味が近いテキスト片が検索される。
見つかったテキスト片を「以下の情報を参考にして回答せよ」という指示とともにLLMへ投げる。これがプロンプトエンジニアリングの一環である。検索精度が低ければ的外れなテキストが渡され、LLMはそれを元に堂々と間違った回答を生成する。検索と生成、どちらのチューニングに時間を割くべきか、現場では常に判断が分かれる。
法務や経理における具体的な活用シーンと代表的なツール
法務部門での契約書チェックや、経理部門での複雑な経費精算ルールの照会でRAGは真価を発揮する。過去の膨大な判例や社内規定を正確に引っ張ってくる必要があるからである。
ツール選びも重要になる。
クラウド環境に依存するならAzure OpenAI Serviceの「On your data」機能が手っ取り早い。AWS派ならAmazon Qが社内システムとの連携に強い。最近はGleanのようなエンタープライズ検索に特化したSaaSも台頭してきた。
自社で一から組むか、こうしたマネージドサービスに乗るか。運用コストを考えると悩ましい。
導入によって得られる恩恵と技術的な限界
最大の恩恵は、ファインチューニングという泥沼を避けられること。モデル自体の重みを更新する作業は計算リソースを食い潰す上に、特定の知識を正確に覚えさせるのは至難の業である。RAGならデータベースの中身を差し替えるだけで最新情報に追従できる。
しかし限界もある。
検索対象が増えれば増えるほど、ベクトル検索の精度は落ちる。さらに、検索したテキストをLLMに渡すたびにトークンを消費するため、APIコストが跳ね上がる。権限管理をミスすれば、役員報酬のデータが一般社員のチャット画面に表示されるといった情報漏洩のリスクもつきまとう。
自社に導入すべきかを見極めるための判断基準
結局のところ、自社のデータはAIに読ませる価値があるのか。
ファイルサーバーに眠る議事録の半分はタイトルすら適当で、中身は誰の役にも立たない。そんな状態でPoCを回しても、検索結果にノイズが混じるだけで終わる。データガバナンスが崩壊している組織にRAGを導入しても魔法は起きない。
ROIをどう算定するかも頭の痛い問題である。検索時間が1日10分減ったとして、それが本当に利益に直結するのか。
まずは社内のデータ整備状況を直視してほしい。AIの前に、人間が検索して見つけられないデータは、AIにも見つけられないのだから。
当社の見解
当社はAI長期記憶システムを自社開発・運用している（2026年4月現在、1,655件の記憶データを蓄積）。この仕組みにより、AIが過去3ヶ月分の経営判断や設計方針を文脈ごと保持し、「前にも同じ話をしましたよね」という手戻りが激減した。セッションが切れても議論の続きから再開できるため、壁打ち相手としてのAIの価値が根本的に変わった。技術的にはCognee MCPサーバーによる記憶保存と、FastEmbed（ONNX Runtime）+ LanceDBによる非常駐型ベクトル検索（検索レイテンシ8ms、GPU不要）を採用。Hindsight（LongMemEval 91.4%精度）やomega-memoryなど複数の既製品を実環境で検証・棄却した上での選定であり、「個人PCでもエンタープライズでも負荷なく動く軽量さ」を最優先に設計している。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。