TAG / TOPIC

SGLang

「SGLang」に関するAIニュースと解説記事の一覧です。

05 STORIES

SGLangの新着記事

COMPUTE / 06

SGLang v0.5.21公開 — PDのprefill／decode動的切替とRust製radix tree既定化、Decisions API新設

高性能LLMサービングフレームワークSGLangが2026年10月2日に安定版v0.5.21を公開。PDインスタンスのprefill／decode動的切替、Rust製radix treeの既定化、Decisions API（/v1/decisions）の新設、DeepSeek-V4.1 Flash・MiMo-V2.6・DiffusionGemmaなど新規7モデル対応、セキュリティ修正を含む。破壊的変更もあるためUpgrade Notesの確認が必要。

2026/10/04 5 MIN

MODELS / 01

Liquid AI、視覚言語モデル向けDSparkドラフトを公開 — LFM2.5-VL-3Bのデコードを最大3.13倍高速化

Liquid AIは2026年9月24日、VLM「LFM2.5-VL-3B」向け投機的デコーディング用ドラフトモデル「LFM2.5-VL-DSpark」を公開した。4層・約280Mパラメータ（279.5M、+8.9%）の軽量ドラフトで、MLX（M5 Max）でデコード最大3.13倍・end-to-end最大2.62倍、SGLang（H100）でデコード最大2.66倍・end-to-end最大2.27倍を報告。6種のMMSpecタスクで評価。llama.cpp（GGUF）／MLX-VLM／SGLangにday-one対応。Hugging Faceで重みを公開（独自ライセンス）。

2026/09/25 5 MIN

COMPUTE / 06

SGLang v0.5.19公開 — ビームサーチ対応とDeepEP v2、統合radix treeの既定化で786 PR

高性能LLMサービングフレームワークSGLangが2026年9月5日に安定版v0.5.19を公開。786件のPR・214名のコントリビューターによる大規模リリースで、ビームサーチ対応、DeepEP v2 ElasticBufferバックエンド、統合radix treeの既定化、LayerNorm系列並列、Hopper向けW4A8 MoE、Blackwell既定バックエンドでのDCP、AMD向けLean attention、Qwen3.8・Spark2.5・Granite 4.2など9モデルの新規対応を含む。

2026/09/05 6 MIN

COMPUTE / 06

SGLang v0.5.18公開 — 710 PRで起動2.38倍高速化、Muse Glimmerなど新規モデル7種に対応

高性能LLMサービングフレームワークSGLangが2026年8月22日にv0.5.18を公開。710 PR・212 contributorsの大規模リリースで、Muse GlimmerやIntern-S2-Mobius、SANA-Videoなど7モデルを新規対応。Qwen3-32Bの起動を2.38倍高速化するオーバーラップ読み込み、DeepSeek-V4系のLMHead/AllReduce最適化、統合キャッシュディレクトリなど基盤改善を一次情報に基づき整理。

2026/08/22 5 MIN

MODELS / 01

Liquid AI、LFM2.5向けDSparkドラフトを公開 — 推論を最大3.2倍高速化、品質はそのままにllama.cpp / SGLang対応

Liquid AIは2026年8月20日、Hugging FaceブログでLFM2.5向け投機的デコーディング「LFM2.5-DSpark」を公開した。LFM2.5-1.2B-Instruct／2.6B／8B-A1B向けに各約300Mパラメータ（5層・ブロック9）のアテンション特化ドラフトを提供。DFlash並列バックボーン＋マルコフ逐次ヘッド＋信頼度スケジュール検証のDSpark構成を採用。llama.cpp（M4 Max MacBook Pro・Metal・FP16 GGUF）とSGLang（H100・BF16）で評価し、H100で最大3.18倍、M4 Maxで最大2.87倍のスループット向上を報告。greedyではターゲットと同一出力のため精度不変、2.6BではBFCL相当の多ツール呼び出しレイテンシを平均57%削減。llama.cppとSGLangにday-one対応。

2026/08/21 6 MIN