R_REDDYX.XYZ

AI Safety: open-source проекты на GitHub

33 репозиториев по теме AI Safety, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064AI Agents 1303MCP 1593LLM Security 37Agentic AI 377Prompt Injection 28Agent Security 26AI Security 57Security 124AI Governance 21LLM Evaluation 41Claude Code 1573Langchain 193Owasp 13
microsoft/PyRIT

ОПЕНСОРС ТУЛКИТ RED TEAMING ДЛЯ AI

Открытый набор инструментов от Microsoft для поиска уязвимостей безопасности и безопасности в генеративных AI-системах. Автоматизирует сканирование, адаптивные многоходов

★ 4,966 · Python
wuyoscar/AISafetyHot

AI SAFETY HOT DIGEST

AI Safety HOT собирает daily AI safety news, papers & incidents, jailbreaks, prompt injection, alignment и evals. На платформе — сайт, daily digest, RSS и MCP.

★ 2,125 · TeX
cvs-health/uqlm

UQLM: ДЕТЕКТИРУЕМ ГАЛЛЮЦИНАЦИИ LLM

Python-пакет для обнаружения галлюцинаций языковых моделей на основе количественной оценки неопределённости.

★ 1,217 · Python
xinxuxin/keystone-bench

Клинический бенчмарк решений

Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д

★ 1,131 · Python
superwesleyhys-ux/factcircuit

Платформа проверки фактов FactCircuit

FactCircuit — это аудитируемый цикл проверки утверждений и доказательств с неизменяемой provenance, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.

★ 927 · Python
AgentSafeLabs/safelabs-eval

ЗАЩИТА AI АГЕНТОВ ОТ УГРОЗ

safelabs-eval — фреймворк для red‑teaming и оценки защиты AI‑агентов, основанный на таксономии ASI01–ASI10 вдохновлённой OWASP. Написан на Python, поддерживает CrewAI, La

★ 829 · Python
Cygnux-Labs/Tracekit

TRACEKIT: АУДИТ ДЕЙСТВИЙ AI-АГЕНТОВ

Tracekit обеспечивает ненарушаемую трассировку действий AI-агентов с policy gates и перекрёстными проверками. Видите, что сделал агент и почему — критично для безопасност

★ 726 · Python
decionis/agent-safe-pipeline

agent-safe-pipeline - БЕЗОПАСНЫЙ АЙАГЕНТ В ПРОДАКШЕН

Архитектура для AI‑агентов: фиксированный захват намерений, независимая проверка политики Decionis и безопасное выполнение через одноразовый грант.

★ 672 · TypeScript
chrisliu298/awesome-llm-unlearning

REPO ДЛЯ UNLEARNING LLM

Сборник статей, кода и ресурсов по машинному «unlearning» в больших языковых моделях. Помогает исследователям удалять знания из LLM.

★ 638
strands-agents/box

БЕЗОПАСНЫЙ САНДБОКС ДЛЯ AI‑АГЕНТОВ

Box изолирует AI‑агентов, применяя OS‑изоляцию и политики default‑deny Dogwood. Он внедряет секреты из защищённого хранилища, не exposing их агенту, и ограничивает файлы,

★ 546 · Rust
cordum-io/cordum

CORDUM - УПРАВЛЯЙ АВТОНОМНЫМИ ИИ-АГЕНТАМИ

Cordum — открытая плоскость управления ИИ‑агентами: политика до выполнения, гейты одобрения и аудит‑трейл. Совместим с LangChain, CrewAI, MCP.

★ 485 · Go
Prysai/Prysai-LLM-Playbook

PRYSAI PLAYBOOK: ПОЛНЫЙ LLM-ГАЙД

LLM-плейбук для практики: 8 локалей, единое ядро, Codex-трек и адаптеры для ChatGPT, Claude Code, Gemini, DeepSeek, Grok.

★ 433 · Python
ZhangJinHaHaHa/AgentLens

AGENTLENS: ПРОВЕРЬ АГЕНТА ДО НАЙМА

Децентрализованный протокол аудита и маркетплейс для AI-агентов с TEE-аттестацией, реестром репутации MDDRM и песочницей на базе SGX/DCAP.

★ 407 · TypeScript
rhesis-ai/rhesis

СЛОЙ КОЛЛАБОРАЦИИ ДЛЯ AI АГЕНТОВ

Rhesis — платформа для тестирования, симуляции и трассировки AI-агентов. Эксперты аннотируют поведение, инженеры улучшают агента на основе найденных проблем. Закрывает ци

★ 404 · Python
schmitech/orbit

ORBIT САМОХОСТИНГ ИИ

Orbit — self‑hosted платформа для частного RAG и мультимодельных AI‑приложений на Python.

★ 364 · Python
lalipa2003-arch/JailbreakHub

ХАБ ДЛЯ ДЖЕЙЛБРЕЙКА LLM

JailbreakHub собирает промпты и методы для обхода безопасности LLM. Проект включает 245★ и классификацию атак. Полезен для исследования уязвимостей.

★ 363 · Roff
Justin0504/Aegis

AEGIS: ЗАЩИТА AI-АГЕНТОВ БЕЗ КОДА

Aegis обеспечивает политики рантайма для AI‑агентов с криптографическим аудит‑трейлом, одобрением человека и kill‑switch — без изменения кода.

★ 361 · TypeScript
agentcontrol/agent-control

AGENT-CONTROL - Централизованное управление агентами

Контрольный план для управления поведением агентов в продакшене. Настраиваемый, расширяемый и готовый к эксплуатации.

★ 337 · Python
LLMSecurity/awesome-agent-skills-security

ОБЕЗОПАСИТЕЛЬНЫЙ СПИСОК НАВЫКОВ АГЕНТОВ

Собраны материалы по защите навыков ИИ‑агентов: атаки, защиты, фреймворки и бенчмарки. Список помогает исследователям и разработчикам оценивать уязвимости tool‑use и нара

★ 287
Keesan12/martin-loop

MARTIN LOOP: АВТОНОМНЫЕ АГЕНТЫ КОДА

Запускайте ИИ‑агентов для написания кода без постоянного контроля. Martin Loop держит задачи в чётких границах, проверяет их и обеспечивает отчётность от начала до конца.

★ 286 · TypeScript
Junkz3/wrench-board

WRENCH-BOARD - АИ ТЕХНИК ПО МИКРОСОЛДЕРУ

Проект wrench-board предоставляет ИИ-ассистента для микросварки, помогая мастерским любого уровня выполнять сложный ремонт.

★ 266 · Python
cvs-health/langfair

LANGFAR ОЦЕНКА СМЕЩЕНИЯ LLM

Библиотека на Python для оценки смещения и справедливости LLM на уровне конкретных use‑case.

★ 261 · Python
yzhao062/anywhere-agents

ANYWHERE-AGENTS: ОДИН КОНФИГ

Проект предоставляет единую конфигурацию для всех AI‑агентов: переносимая, эффективная и безопасная работа с защитой от опасных команд.

★ 261 · Python
lacs-project/sysknife

ИИ-АДМИНИСТРАТОР LINUX НА RUST

Sysknife — агент для управления Linux. Модель выбирает действие, демон собирает команду. Все действия требуют одобрения и логируются с Ed25519-подписью. 223 звезды на Git

★ 261 · Rust
PerryLink/dsh-auto-review

ДШ АВТОРЕВЬЮ: AI-СИСТЕМА

Проект dsh-auto-review дает read-only подагента, возвращающего allow/deny с причинами для запросов одобрения DeepSeek Harness. Вердикт fail-closed по умолчанию, вся цепоч

★ 249 · TypeScript
DobermanCore/Doberman-Core

DOBERMAN-CORE — ЗАЩИТА AI АГЕНТОВ

Doberman-Core перехватывает каждый ввод, вывод и вызов инструмента во время работы AI-агента, блокируя небезопасные действия. Он работает как middleware, проверяя авториз

★ 243 · Python
humanbound/humanbound

РЕД-ТИМИНГ ИИ-АГЕНТОВ НА PYTHON

Humanbound — движок adversarial-тестирования, SDK и CLI для ИИ-агентов. Запускается локально или через платформу Humanbound. 218 звёзд на GitHub.

★ 239 · Python
KalarisLabs/claude-systems-prompts

ВСЕ PROMPTS CLAUDE В ОДНОМ

Все официальные промпты Claude в одном репозитории: verbatim, датированные и с источниками, от Claude Fable 5.2 до Haiku 3. 23 модели из релиз‑нот Anthropic, plus анализ,

★ 232 · Python
guardana/guardana

ГУАРДАНА ЗАЩИТА AI-МОДЕЛЕЙ

Guardana проверяет артефакты моделей, живые эндпоинты, MCP-серверы и трассировки агентов на наличие угроз безопасности. Формирует воспроизводимые доказательства для решен

★ 225 · Python
OWASP/www-project-agent-memory-guard

ОБОРОНА ПАМЯТИ AI-АГЕНТОВ

Защита от poisoning memory AI-агентов (OWASP ASI06). Drop-in для LangChain, OpenAI Agents, AutoGen, CrewAI и mem0.

★ 203 · Python
node9-ai/node9-proxy

NODE9-PROXY: ЩИТ ДЛЯ AI-АГЕНТОВ

node9-proxy обеспечивает детерминированное управление и аудит автономных ИИ‑агентов, гарантируя безопасность выполнения кода.

★ 201 · TypeScript
permit0-ai/permit0

PERMIT0 — ЗАЩИТА AI-АГЕНТОВ ОТ ОШИБОК

Авторизация действий AI-агентов до их выполнения. Детерминированные политики, простая интеграция с первого дня.

★ 192 · Rust
Anil-matcha/awesome-gpt-6-astra

GPT-6 ASTRA: ПРОМПТЫ И ИНТЕГРАЦИИ

Доказательные варианты использования, промпты, интеграции, оценки и примечания по безопасности для OpenAI GPT-6 Astra.

★ 17 · Python

Новые проекты по теме — в Telegram

Telegram →
AI Safety — 33 open-source проектов на GitHub | REDDYX AI