R_REDDYX.XYZ
AITypeScript★ 860⑂ 65 форковMIT

niieani/gpt-tokenizer

GPT-TOKENIZER: БЫСТРЫЙ TOKENIZER ДЛЯ GPT

gpt-tokenizer — самый быстрый JavaScript BPE‑токенизатор для моделей OpenAI (gpt-5, gpt-o*, gpt-4o и др.). Он является портом tiktoken с добавленными возможностями и написан на TypeScript.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Кодирует и декодирует тексты в токены моделей GPT за микросекунды.
  • Поддерживает все версии tiktoken: gpt‑2, gpt‑3, gpt‑4, gpt‑5 и gpt‑o* серии.
  • Предоставляет API для пакетной обработки и потокового токенизирования больших corpora.
  • Встроенные тесты и TypeScript типы гарантируют надёжность при интеграции в проекты.
#bpe#decoder#encoder#gpt-2#gpt-3#gpt-4#gpt-4o#gpt-5#gpt-o1#machine-learning#openai#tokenizer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

HOOP - ЕДИНЫЙ ШЛЮЗ ПРОТОКОЛОВ★ 859Локальный граф знаний MCP★ 858ECA: AI-ПОМОЩНИК ДЛЯ КОДА★ 858HALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM★ 862INCARNAMIND AI ЧАТ С ДОКУМЕНТАМИ★ 858mcp-searxng - MCP СЕРВЕР ДЛЯ SEARXNG★ 857

← ВЕСЬ КАТАЛОГ

niieani/gpt-tokenizer — GPT-Tokenizer: быстрый Tokenizer для…