AIRust★ 742
marcelroed/gigatoken
GIGATOKEN — ТОКЕНИЗАЦИЯ НА ГБ/С
gigatoken — быстрая токенизация языковых моделей на Rust, достигающая скорости гигабайт в секунду.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Токенизация на скорости >1 ГБ/с
- Написана на безопасном Rust
- Поддерживает популярные токенизаторы BPE, WordPiece
#llm#nlp#tokenization#tokenizer
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram