Tokenizationとは
Tokenizationとは、AIが人間の言語を計算処理できるように
読み: トークナイゼーション
AIが人間の言語を計算処理できるように、テキストをトークンと呼ばれる最小単位に分割する前処理プロセスを指す。自然言語をそのまま理解できないモデルにとって、文字や単語を数値の配列に変換するための最初の関門となる。
かんたんに言うと
文章をレゴブロックのパーツに分解する作業といえる。完成品の城をそのまま箱にしまえないように、AIも一度バラバラのブロックにしないと計算機の中で組み立て直すことができない。
LLMが文字を読めない理由とTokenizationによる数値変換
LLMは文字を読んでいるわけではない。自然言語処理の根底にあるのは、すべて数字の羅列である。テキストをモデルが消化できるサイズに切り刻む。これがTokenizationの正体である。
昔の形態素解析のように単語単位で区切る手法は、未知の言葉に弱かった。そこで今はサブワードという手法が主流になっている。単語をさらに細かいパーツに割る。
「apple」なら1つだが、「unbelievable」なら「un」「believ」「able」のように分ける。
これで辞書にない造語が来ても、知っているパーツの組み合わせとして処理できる。ただ、この分割ルールがモデルごとに全く違う。
法務や経理の現場を揺るがすトークン消費の現実
ChatGPTやClaude、Geminiといったモデルを実務に組み込む際、現場の担当者は必ず壁にぶつかる。
法務部が数百ページの英文契約書を読み込ませようとしたとしよう。
文字数制限に引っかかった経験はないだろうか。
あれは文字数ではなく、トークン数の上限に達しているのである。経理部が大量の請求書データを流し込む時も同じである。モデルが一度に記憶できるコンテキストウィンドウには限界がある。
現場は「なぜ全部読んでくれないのか」と怒るが、システム側からすればトークンが溢れているだけである。この認識のズレを埋めるのは、いつも骨が折れる。
処理速度の向上と日本語特有の制約
OpenAIのモデルが採用しているBPEという分割方式は、英語に最適化されている。
これが日本のユーザーにとって非常に悩ましい。
英語なら1単語1トークンで済むものが、日本語のひらがなや漢字だと1文字で2〜3トークンを消費してしまう。同じ意味の文章でも、日本語にするだけで処理量が跳ね上がる。
結果として何が起きるか。
APIのレスポンスが遅くなり、コストが数倍に膨れ上がる。英語圏のベンチマークを鵜呑みにして予算を組むと、本番環境で確実に火を吹く。日本語を扱うシステムを設計する際、この仕様の違いをどう吸収するかは常に判断が分かれる。
予算策定を狂わせるコスト試算とシステム要件
自社でRAGを構築するなら、事前にtiktokenなどのライブラリを使って正確な消費量を計測しなければならない。
適当なプロンプトエンジニアリングで文字数を削っても、トークン数が減っていなければAPIの請求額は下がらないからである。
社内文書をデータベースに突っ込む前に、チャンク分割のサイズをどう設定するか。
ここをミスすると、検索精度が落ちるだけでなく無駄な課金が垂れ流しになる。
開発環境で数千円だったAPI代が、全社展開した途端に月額数百万円に化ける。そんな笑えない落とし穴が、トークンの計算を怠ったプロジェクトの末路として待っている。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。