TF-IDFとは
TF-IDFとは、文書内での単語の出現頻度と、全文書における単語の希少性を掛け合わせて
読み: ティーエフアイディーエフ
文書内での単語の出現頻度と、全文書における単語の希少性を掛け合わせて、その単語がその文書にとってどれだけ重要かを数値化する手法。情報検索と自然言語処理の基盤技術であり、全文検索エンジンのスコアリングやテキスト分類の特徴量抽出に使われてきた。
かんたんに言うと
「この文書にたくさん出てくるけど、他の文書にはあまり出てこない単語」を見つける計算式。どこにでも出る「の」「は」「です」はスコアが低く、特定の文書にだけ出る専門用語はスコアが高くなる。文書の特徴を数値で表現する古典的な手法。
TFとIDFの計算
TF（Term Frequency）は文書内での単語の出現回数を文書の総単語数で割った値。「機械学習」が1,000語の文書に5回出現すれば TF = 5/1000 = 0.005。IDF（Inverse Document Frequency）は全文書数を、その単語を含む文書数で割った値の対数。10,000件中10件にしか出ない単語なら IDF = log(10000/10) = 3.0。TF-IDF = TF × IDF で、その文書におけるその単語の重要度が算出される。
BM25との関係
TF-IDFは単純だが弱点がある。長い文書ほどTFが大きくなるため、文書の長さによるバイアスがかかる。BM25はこの問題を補正したTF-IDFの改良版。文書の長さを平均と比較して正規化し、TFの上限にも飽和関数を適用する。Elasticsearchのデフォルトスコアリングは2015年からBM25に切り替わった。TF-IDFを理解していればBM25の仕組みも理解できる。
AI時代のTF-IDF
ベクトル検索やBERTが登場した現在でも、TF-IDFは使われている。キーワード抽出、文書のクラスタリング、スパムフィルタリングなど、軽量で高速な処理が求められる場面ではTF-IDFが合理的。ベクトル検索はGPUとメモリを消費するが、TF-IDFはCPUだけで動く。全ての処理にディープラーニングを使う必要はない。問題の複雑さに応じて技術を選ぶべき。
導入時の判断基準
テキスト分類やキーワード抽出の初期実装にはTF-IDFで十分なことが多い。のTfidfVectorizerで数行のコードで実装できる。精度が足りなければBERTやSentence Transformersに移行する。TF-IDFで80%の精度が出るなら、残り20%のためにGPUを導入するかは費用対効果で判断する。
TF-IDFとBM25の比較
| 比較項目 | BM25 | TF-IDF |
|---|---|---|
| ドキュメント長補正の有無 | 文書長の極端な増大による適合評価の飽和とバイアスを防ぎ評価を正規化する補正機能を導入 | 単に出現頻度と逆文書頻度の積であるため文書長が過小過大な場合などでペナルティが機能しない |
| スコア計算数理モデル | 現代のElasticsearchなど検索システムで実用的に高く実証されてきた強力なコミュニティ実績 | 古典的でシンプルすぎる数理計算モデルのため現代の高度な関連度順位検索要件には不向き |
| 実証コミュニティ実績 | BM25が提供する標準的な機能・インターフェース | TF-IDFが得意とする高度な対応機能やインターフェース |
TF-IDFの単純な出現率計算の限界を補正するために生まれたのがBM25です。基礎的な出現率のみに頼る素朴な検索ならTF-IDF、文書長の偏りを補正した現代的で実用的な関連度検索を行うならBM25が適しています。
当社の見解
当社はAI長期記憶システムを自社開発・運用している（2026年4月現在、1,655件の記憶データを蓄積）。この仕組みにより、AIが過去3ヶ月分の経営判断や設計方針を文脈ごと保持し、「前にも同じ話をしましたよね」という手戻りが激減した。セッションが切れても議論の続きから再開できるため、壁打ち相手としてのAIの価値が根本的に変わった。技術的にはCognee MCPサーバーによる記憶保存と、FastEmbed（ONNX Runtime）+ LanceDBによる非常駐型ベクトル検索（検索レイテンシ8ms、GPU不要）を採用。Hindsight（LongMemEval 91.4%精度）やomega-memoryなど複数の既製品を実環境で検証・棄却した上での選定であり、「個人PCでもエンタープライズでも負荷なく動く軽量さ」を最優先に設計している。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。