AIRust★ 2,986⑂ 222 форковMIT
michaelfeil/infinity
БЫСТРЫЙ СЕРВИНГ ЭМБЕДДИНГОВ НА RUST
Infinity — высокопроизводительный движок для текстовых эмбеддингов, реранкинга, CLIP, CLAP и ColPali. Написан на Rust, обеспечивает низкую задержку и высокую пропускную способность. 2963 звезды на GitHub.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Обслуживает text-embeddings, reranking, CLIP, CLAP, ColPali через единый API
- Написан на Rust для минимальной задержки и максимального throughput
- Поддерживает BERT-модели и LLM-экосистему для RAG-пайплайнов
- Готов к продакшену: батчинг, кэширование, горизонтальное масштабирование
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram