R_REDDYX.XYZ
AIRust★ 412⑂ 76 форковMIT

zurawiki/tiktoken-rs

tiktoken-rs - БЫСТРЫЙ ТОКЕНАЙЗЕР ДЛЯ GPT

Библиотека на Rust, готовый токенайзер, совместимый с tiktoken OpenAI, для работы с GPT-моделями.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Поддержка всех моделей GPT-2/3/4
  • Zero-dependencies, чистый Rust
  • Высокая скорость токенизации
#bpe#openai#rust#tokenizer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

IGNITER - ГЕНЕРАЦИЯ КОДА НА ELIXIR★ 412LIONAGI - ИИ ОРКЕСТР ДЛЯ КОДА★ 412IQ-SERIES - ИИ В ОБЛАКЕ★ 412Инженерия инференса LLM★ 412МЕРИДИАН: АВТОМАТИЧЕСКИЙ ЖУРНАЛ РАБОТЫ★ 412Видео-мастер для аудио-историй★ 412

← ВЕСЬ КАТАЛОГ

zurawiki/tiktoken-rs — tiktoken-rs - БЫСТРЫЙ ТОКЕНАЙЗЕР ДЛЯ…