AIPython★ 207
lightseekorg/TorchSpec
TORCHSPEC СПЕКУЛЯТИВНОЕ ДЕКОДИРОВАНИЕ
Библиотека на PyTorch для обучения моделей speculative decoding, ускоряющая генерацию текста.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Нативная интеграция с PyTorch для простого использования
- Поддержка различных архитектур speculative decoding
- Автоматическое ускорение генерации без потери качества
#eagle3#fsdp#lightseek#llm#mooncake#pytorch#sglang#tokenspeed#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram