Full Pipelineとは
Full Pipelineとは、16,384トークン分のKVキャッシュをRotorQuantで一括処理した際のベンチマーク
読み: フルパイプライン
16,384トークン分のKVキャッシュをRotorQuantで一括処理した際のベンチマーク。DGX Spark + Tritonで、PyTorch比188倍の0.196msを記録。
かんたんに言うと
AIが「本1冊分の文脈」を読み込むのにかかる時間が36ミリ秒から0.2ミリ秒に。人間の瞬きより速い。
188倍の高速化
PyTorch標準36.9msに対しRotorQuant Triton版は0.196ms。Rotor Sandwich→3ビット量子化→逆回転→アテンション計算の全工程を含む（出典: DevelopersIO 2026年3月27日）。
リアルタイムAIエージェントへの道
DGX Sparkのローカル環境で、数万行のコード全体をリアルタイム監視しながら0.2ms間隔でコード補完を行うことが技術的に可能に。低レイテンシAIの実用化を加速する決定的なベンチマーク。
188倍高速化の内訳
Full Pipelineが達成する188倍の高速化は、単一の最適化ではなく、量子化、KVキャッシュ圧縮、カーネル融合、メモリ管理の最適化を組み合わせた結果。各ステップ（embed、回転、量子化、逆変換、抽出）を1つのGPUカーネルに融合することで、メモリの読み書き回数を大幅に削減している。
16Kコンテキストでの実用性
16Kトークンのコンテキストは、一般的なビジネス文書（契約書、レポート、マニュアル等）を丸ごと処理するのに十分な長さ。RAGで検索した複数の文書を一度に処理する際にも、16Kあれば実用的な回答が生成できる。ただし128Kや256Kが必要な用途（書籍全体の要約等）には対応しない。
リアルタイム処理への応用
188倍の高速化は、チャットボットやカスタマーサポートのリアルタイム応答に直結する。従来は数秒かかっていた推論が数十ミリ秒で完了するため、ユーザーの待ち時間がなくなる。ただし高速化はGPU上での話であり、CPU環境では効果が限定的。GPU環境を前提とした導入計画が必要になる。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。