AITypeScript★ 860⑂ 65 форковMIT
niieani/gpt-tokenizer
GPT-TOKENIZER: БЫСТРЫЙ TOKENIZER ДЛЯ GPT
gpt-tokenizer — самый быстрый JavaScript BPE‑токенизатор для моделей OpenAI (gpt-5, gpt-o*, gpt-4o и др.). Он является портом tiktoken с добавленными возможностями и написан на TypeScript.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Кодирует и декодирует тексты в токены моделей GPT за микросекунды.
- Поддерживает все версии tiktoken: gpt‑2, gpt‑3, gpt‑4, gpt‑5 и gpt‑o* серии.
- Предоставляет API для пакетной обработки и потокового токенизирования больших corpora.
- Встроенные тесты и TypeScript типы гарантируют надёжность при интеграции в проекты.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram