SGLangとは
SGLangとは、LMSYS Orgが開発したLLMおよびVLMの推論を高速化するオープンソースフレームワーク
読み: エスジーラング
LMSYS Orgが開発したLLMおよびVLMの推論を高速化するオープンソースフレームワーク。RadixAttentionによるKVキャッシュの自動再利用が最大の特徴で、共通プロンプトの冗長な計算を省略し、初回トークン生成時間を大幅に短縮する。
かんたんに言うと
同じシステムプロンプトを使う大量のリクエストを処理するとき、毎回ゼロから計算するのではなく、計算済みの結果を自動的に使い回すことで推論速度を数倍に引き上げるエンジン。
RadixAttentionとKVキャッシュの自動再利用
SGLangの中核技術。LLM推論時に生成されるKVキャッシュを、基数木（Radix Tree）で管理する。複数リクエスト間で共通するシステムプロンプトやFew-shotの例示を自動検知して再利用するため、冗長な計算が省略される。
結果として初回トークン生成時間（TTFT）を大幅に短縮できる。RAGで大量の共通ドキュメントをコンテキストに含むケースや、Few-shotプロンプティングで長い例示を毎回使い回すケースで特に効果が出る。
構造化出力の高速化とバックエンド
JSONスキーマや正規表現に準拠した出力を強制する際、圧縮有限オートマトンを使った独自の最適化により、低オーバーヘッドで高速にデコードする。
バックエンドにはContinuous Batching、PagedAttention、テンソル並列、FlashInferなどの推論最適化技術を標準搭載。vLLMと比較されることが多いが、SGLangは「共通コンテキストの大量反復処理」に特化した設計になっている。
当社の見解
当社はOpenAI APIを完全廃止し、EmbeddingもLLMも全てローカルで稼働させている（2026年4月時点）。これにより月額のAPI費用がゼロになっただけでなく、機密情報や顧客データを外部に送信せずにAI処理できるようになった。クライアントのログデータをマスキングなしでそのまま分析に回せるのは、ローカルLLMだからこそ実現できる。2026年4月にはOllama常駐実行（CPU 25%、GPU 30%を常時占有）を廃止し、FastEmbed（ONNX Runtime）による非常駐型推論に移行。処理が必要な瞬間だけプロセスを起動し、完了後に即座に終了する設計で、アイドル時のリソース消費をゼロにした。あえて一般的なデスクトップPC環境で複数のローカルLLMを実機検証した経験から言えることは、ベンチマークスコアと実務での使い勝手、そして常駐時のリソース消費は全て別の指標だということだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。