R_REDDYX.XYZ
AIPython★ 613⑂ 33 форковMIT

zhudotexe/kani

КАНИ: МИКРОФРЕЙМВОРК ДЛЯ ИНСТРУМЕНТОВ LLM

Kani — микрофреймворк на Python для создания tool‑calling агентов с поддержкой GPT‑4, Llama и других LLM. Позволяет быстро подключать произвольные функции и инструменты через простой API. Разработан в рамках NLP‑OSS и представлен на EMNLP 2023.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Генерирует JSON‑scheme для функций прямо из docstring через декоратор @tool
  • Поддерживает асинхронный вызов инструментов и потоковый вывод ответа LLM
  • Кеширует результаты tool‑calls в памяти, сокращая токены при повторных вызовах
  • Интеграция с OpenAI, Anthropic и локальными LLM через единый API
#chatgpt#framework#function-calling#gpt-4#large-language-models#llama#llms#microframework#openai#tool-use
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Оптимизатор сложности кода★ 613Arkon — AI-управление для команд★ 612Лучшие практики для AI-агентов★ 614ALTIMATE-CODE AI ДЛЯ DATA★ 612AGENT2AGENT: ВСЕ В ОДНОМ★ 614AI-ГЕНЕРАТОР ЗАДАЧ ДЛЯ CLAUDE CODE★ 612

← ВЕСЬ КАТАЛОГ

zhudotexe/kani — Кани: микрофреймворк для инструментов LLM