AIRust★ 397
zurawiki/tiktoken-rs
tiktoken-rs - БЫСТРЫЙ ТОКЕНАЙЗЕР ДЛЯ GPT
Библиотека на Rust, готовый токенайзер, совместимый с tiktoken OpenAI, для работы с GPT-моделями.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка всех моделей GPT-2/3/4
- Zero-dependencies, чистый Rust
- Высокая скорость токенизации
#bpe#openai#rust#tokenizer
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram