AIC#★ 212
microsoft/Tokenizer
ТОКЕНИЗАТОР BPE ДЛЯ OPENAI
Tokenizer — BPE‑токенизатор на TypeScript и .NET для моделей OpenAI. Обучает vocab, кодирует и декодирует токены, совместим с tiktoken. Легко интегрируется в ИИ‑продукты.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Обучает BPE‑словарь из любого текста, сохраняя vocab в JSON для дальнейшего использования.
- Кодирует строки в массив токенов и декодирует токены обратно в UTF‑8 строку.
- Полностью совместим с форматом tiktoken OpenAI, можно подгружать готовые vocab‑файлы gpt2, cl100k.
- Работает в браузерах (TypeScript) и .NET‑приложениях без внешних зависимостей, лёгок в интеграции.
#ai#gpt#llm#openai#tokenizer
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram