トークン化

PRODUCTS / 03

Hugging Face、高速化に焦点の「tokenizers v1」リリース候補を公開 — v0.23と同一ID、数十倍高速化も

Hugging Faceが2026年9月21日に公開したtokenizers v1の解説記事を整理。v0.23と同一のトークンIDを保ちつつ、ワークスペース分割・ビットストリーム分割・WordCacheなどで高速化。tokbenchによる測定、リリース候補の導入方法、1.0.0に向けた残作業を扱う。