AIPython★ 606
zhudotexe/kani
КАНИ: МИКРОФРЕЙМВОРК ДЛЯ ИНСТРУМЕНТОВ LLM
Kani — микрофреймворк на Python для создания tool‑calling агентов с поддержкой GPT‑4, Llama и других LLM. Позволяет быстро подключать произвольные функции и инструменты через простой API. Разработан в рамках NLP‑OSS и представлен на EMNLP 2023.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Генерирует JSON‑scheme для функций прямо из docstring через декоратор @tool
- Поддерживает асинхронный вызов инструментов и потоковый вывод ответа LLM
- Кеширует результаты tool‑calls в памяти, сокращая токены при повторных вызовах
- Интеграция с OpenAI, Anthropic и локальными LLM через единый API
#chatgpt#framework#function-calling#gpt-4#large-language-models#llama#llms#microframework#openai#tool-use
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram