R_REDDYX.XYZ
AIRust★ 4,155⑂ 225 форковMIT

marcelroed/gigatoken

GIGATOKEN — ТОКЕНИЗАЦИЯ НА ГБ/С

gigatoken — быстрая токенизация языковых моделей на Rust, достигающая скорости гигабайт в секунду.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Токенизация на скорости >1 ГБ/с
  • Написана на безопасном Rust
  • Поддерживает популярные токенизаторы BPE, WordPiece
#llm#nlp#tokenization#tokenizer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

AdalFlow - ПОВЫСЬ ЭФФЕКТИВНОСТЬ LLM★ 4153AI-AGENTS-FROM-SCRATCH★ 4162Кроссплатформенный фреймворк для AI-агентов★ 4162SPARK-NLP - РЕВОЛЮЦИЯ В NLP★ 4163OpenClaw китайские кейсы★ 4146NOTFAIR-PLUGIN: SEO СКИЛЛЫ★ 4168

← ВЕСЬ КАТАЛОГ

marcelroed/gigatoken — Gigatoken — токенизация на гб/с