AIRust★ 4,155⑂ 225 форковMIT
marcelroed/gigatoken
GIGATOKEN — ТОКЕНИЗАЦИЯ НА ГБ/С
gigatoken — быстрая токенизация языковых моделей на Rust, достигающая скорости гигабайт в секунду.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Токенизация на скорости >1 ГБ/с
- Написана на безопасном Rust
- Поддерживает популярные токенизаторы BPE, WordPiece
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram