AI Safety: open-source проекты на GitHub
33 репозиториев по теме AI Safety, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
ОПЕНСОРС ТУЛКИТ RED TEAMING ДЛЯ AI
Открытый набор инструментов от Microsoft для поиска уязвимостей безопасности и безопасности в генеративных AI-системах. Автоматизирует сканирование, адаптивные многоходов
★ 4,966 · PythonAI SAFETY HOT DIGEST
AI Safety HOT собирает daily AI safety news, papers & incidents, jailbreaks, prompt injection, alignment и evals. На платформе — сайт, daily digest, RSS и MCP.
★ 2,125 · TeXUQLM: ДЕТЕКТИРУЕМ ГАЛЛЮЦИНАЦИИ LLM
Python-пакет для обнаружения галлюцинаций языковых моделей на основе количественной оценки неопределённости.
★ 1,217 · PythonКлинический бенчмарк решений
Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д
★ 1,131 · PythonПлатформа проверки фактов FactCircuit
FactCircuit — это аудитируемый цикл проверки утверждений и доказательств с неизменяемой provenance, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.
★ 927 · PythonЗАЩИТА AI АГЕНТОВ ОТ УГРОЗ
safelabs-eval — фреймворк для red‑teaming и оценки защиты AI‑агентов, основанный на таксономии ASI01–ASI10 вдохновлённой OWASP. Написан на Python, поддерживает CrewAI, La
★ 829 · PythonTRACEKIT: АУДИТ ДЕЙСТВИЙ AI-АГЕНТОВ
Tracekit обеспечивает ненарушаемую трассировку действий AI-агентов с policy gates и перекрёстными проверками. Видите, что сделал агент и почему — критично для безопасност
★ 726 · Pythonagent-safe-pipeline - БЕЗОПАСНЫЙ АЙАГЕНТ В ПРОДАКШЕН
Архитектура для AI‑агентов: фиксированный захват намерений, независимая проверка политики Decionis и безопасное выполнение через одноразовый грант.
★ 672 · TypeScriptREPO ДЛЯ UNLEARNING LLM
Сборник статей, кода и ресурсов по машинному «unlearning» в больших языковых моделях. Помогает исследователям удалять знания из LLM.
★ 638БЕЗОПАСНЫЙ САНДБОКС ДЛЯ AI‑АГЕНТОВ
Box изолирует AI‑агентов, применяя OS‑изоляцию и политики default‑deny Dogwood. Он внедряет секреты из защищённого хранилища, не exposing их агенту, и ограничивает файлы,
★ 546 · RustCORDUM - УПРАВЛЯЙ АВТОНОМНЫМИ ИИ-АГЕНТАМИ
Cordum — открытая плоскость управления ИИ‑агентами: политика до выполнения, гейты одобрения и аудит‑трейл. Совместим с LangChain, CrewAI, MCP.
★ 485 · GoPRYSAI PLAYBOOK: ПОЛНЫЙ LLM-ГАЙД
LLM-плейбук для практики: 8 локалей, единое ядро, Codex-трек и адаптеры для ChatGPT, Claude Code, Gemini, DeepSeek, Grok.
★ 433 · PythonAGENTLENS: ПРОВЕРЬ АГЕНТА ДО НАЙМА
Децентрализованный протокол аудита и маркетплейс для AI-агентов с TEE-аттестацией, реестром репутации MDDRM и песочницей на базе SGX/DCAP.
★ 407 · TypeScriptСЛОЙ КОЛЛАБОРАЦИИ ДЛЯ AI АГЕНТОВ
Rhesis — платформа для тестирования, симуляции и трассировки AI-агентов. Эксперты аннотируют поведение, инженеры улучшают агента на основе найденных проблем. Закрывает ци
★ 404 · PythonORBIT САМОХОСТИНГ ИИ
Orbit — self‑hosted платформа для частного RAG и мультимодельных AI‑приложений на Python.
★ 364 · PythonХАБ ДЛЯ ДЖЕЙЛБРЕЙКА LLM
JailbreakHub собирает промпты и методы для обхода безопасности LLM. Проект включает 245★ и классификацию атак. Полезен для исследования уязвимостей.
★ 363 · RoffAEGIS: ЗАЩИТА AI-АГЕНТОВ БЕЗ КОДА
Aegis обеспечивает политики рантайма для AI‑агентов с криптографическим аудит‑трейлом, одобрением человека и kill‑switch — без изменения кода.
★ 361 · TypeScriptAGENT-CONTROL - Централизованное управление агентами
Контрольный план для управления поведением агентов в продакшене. Настраиваемый, расширяемый и готовый к эксплуатации.
★ 337 · PythonОБЕЗОПАСИТЕЛЬНЫЙ СПИСОК НАВЫКОВ АГЕНТОВ
Собраны материалы по защите навыков ИИ‑агентов: атаки, защиты, фреймворки и бенчмарки. Список помогает исследователям и разработчикам оценивать уязвимости tool‑use и нара
★ 287MARTIN LOOP: АВТОНОМНЫЕ АГЕНТЫ КОДА
Запускайте ИИ‑агентов для написания кода без постоянного контроля. Martin Loop держит задачи в чётких границах, проверяет их и обеспечивает отчётность от начала до конца.
★ 286 · TypeScriptWRENCH-BOARD - АИ ТЕХНИК ПО МИКРОСОЛДЕРУ
Проект wrench-board предоставляет ИИ-ассистента для микросварки, помогая мастерским любого уровня выполнять сложный ремонт.
★ 266 · PythonLANGFAR ОЦЕНКА СМЕЩЕНИЯ LLM
Библиотека на Python для оценки смещения и справедливости LLM на уровне конкретных use‑case.
★ 261 · PythonANYWHERE-AGENTS: ОДИН КОНФИГ
Проект предоставляет единую конфигурацию для всех AI‑агентов: переносимая, эффективная и безопасная работа с защитой от опасных команд.
★ 261 · PythonИИ-АДМИНИСТРАТОР LINUX НА RUST
Sysknife — агент для управления Linux. Модель выбирает действие, демон собирает команду. Все действия требуют одобрения и логируются с Ed25519-подписью. 223 звезды на Git
★ 261 · RustДШ АВТОРЕВЬЮ: AI-СИСТЕМА
Проект dsh-auto-review дает read-only подагента, возвращающего allow/deny с причинами для запросов одобрения DeepSeek Harness. Вердикт fail-closed по умолчанию, вся цепоч
★ 249 · TypeScriptDOBERMAN-CORE — ЗАЩИТА AI АГЕНТОВ
Doberman-Core перехватывает каждый ввод, вывод и вызов инструмента во время работы AI-агента, блокируя небезопасные действия. Он работает как middleware, проверяя авториз
★ 243 · PythonРЕД-ТИМИНГ ИИ-АГЕНТОВ НА PYTHON
Humanbound — движок adversarial-тестирования, SDK и CLI для ИИ-агентов. Запускается локально или через платформу Humanbound. 218 звёзд на GitHub.
★ 239 · PythonВСЕ PROMPTS CLAUDE В ОДНОМ
Все официальные промпты Claude в одном репозитории: verbatim, датированные и с источниками, от Claude Fable 5.2 до Haiku 3. 23 модели из релиз‑нот Anthropic, plus анализ,
★ 232 · PythonГУАРДАНА ЗАЩИТА AI-МОДЕЛЕЙ
Guardana проверяет артефакты моделей, живые эндпоинты, MCP-серверы и трассировки агентов на наличие угроз безопасности. Формирует воспроизводимые доказательства для решен
★ 225 · PythonОБОРОНА ПАМЯТИ AI-АГЕНТОВ
Защита от poisoning memory AI-агентов (OWASP ASI06). Drop-in для LangChain, OpenAI Agents, AutoGen, CrewAI и mem0.
★ 203 · PythonNODE9-PROXY: ЩИТ ДЛЯ AI-АГЕНТОВ
node9-proxy обеспечивает детерминированное управление и аудит автономных ИИ‑агентов, гарантируя безопасность выполнения кода.
★ 201 · TypeScriptPERMIT0 — ЗАЩИТА AI-АГЕНТОВ ОТ ОШИБОК
Авторизация действий AI-агентов до их выполнения. Детерминированные политики, простая интеграция с первого дня.
★ 192 · RustGPT-6 ASTRA: ПРОМПТЫ И ИНТЕГРАЦИИ
Доказательные варианты использования, промпты, интеграции, оценки и примечания по безопасности для OpenAI GPT-6 Astra.
★ 17 · PythonНовые проекты по теме — в Telegram
Telegram →