xiaol/wkvm

Библиотека для выполнения инференса гибридных языковых моделей, включая Gemma, RWKV и их комбинации. Поддерживает эффективное выполнение на CPU и GPU.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

• Инференс Gemma и RWKV моделей через единый интерфейс API.
• Поддержка гибридных архитектур, например, смеси Gemma‑RWKV и других комбинаций.
• Оптимизированный кэш KV‑states ускоряет генерацию длинных последовательностей.
• Совместим с HuggingFace Transformers и PyTorch для простого подключения.

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.