LLM Security: open-source проекты на GitHub
37 репозиториев по теме LLM Security, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Готовые шаблоны LLM
Готовые облачные шаблоны для RAG, AI‑pipeline и поиска с живыми данными, Docker‑совместимые и синхронные с SharePoint, S3, Kafka и PostgreSQL.
★ 59,750 · Jupyter NotebookЗАЩИТА БИНАРНИКОВ ОТ ИИ-АГЕНТОВ
BLA — adversarial-защита для бинарников, Electron, JS, Python и Wasm. Отравляет контекст, истощает ресурсы и вызывает галлюцинации у агентов реверс-инжиниринга вроде REA.
★ 5,675 · TypeScriptGISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ
Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.
★ 5,417 · PythonПЕСОЧНИЦА ДЛЯ AI-АГЕНТОВ
Запускайте любых AI-агентов за секунды без настройки и задержек. Написан на Rust для максимальной скорости.
★ 5,000 · RustБЕЗОПАСНОСТЬ AI-СИСТЕМ
Платформа для тестирования безопасности AI-экосистем: сканирование инфраструктуры, MCP, агентов и оценка jailbreak-атак.
★ 3,790 · PythonAI‑ENGINEER HQ: НАУЧНЫЙ ТОЛК
Проект содержит Jupyter‑ноутбуки с методами обучения моделей, пайплайны RAG на LangChain и алгоритмы структур данных для AI‑агентов. Позволяет быстро создавать, тестирова
★ 3,780 · Jupyter Notebookalways-further/nono
Песочницы на основе возможностями с детальной политикой. Прокси-доступ непосредственно в рабочем контексте агента, с нулевой настройкой и нулевой задержкой
★ 2,407 · Rustbeelzebub - AI-ДРИВЕННАЯ LOW-CODE ВИРТУАЛИЗАЦИЯ
Beelzebub — фреймворк низкоуровневого кода для безопасного обмана систем, использующий ИИ для виртуализации окружения.
★ 2,238 · GoADR: БЕЗОПАСНОСТЬ AI‑АГЕНТОВ В UBER
ADR обеспечивает наблюдаемость, тестирование безопасности и обнаружение угроз для корпоративных ИИ‑агентов, уже используется в Uber.
★ 2,135 · PythonAI SAFETY HOT DIGEST
AI Safety HOT собирает daily AI safety news, papers & incidents, jailbreaks, prompt injection, alignment и evals. На платформе — сайт, daily digest, RSS и MCP.
★ 2,125 · TeXAI-АГЕНТ ДЛЯ БЕЗОПАСНОСТИ
0 — открытый ИИ-агент безопасности, который autonomously обнаруживает, эксплуатирует и исправляет уязвимости в стеке. Исследовательский превью от Swiss Applied AI & Cyber
★ 1,356 · TypeScriptCybermes Агент безопасности
Автономный фреймворк для ofensivní безопасности, bug bounty и red teaming, основанный на Hermes Agent с продвинутым рассуждением и оркестровкой множественных LLM.
★ 1,026 · PythonMEDUSA: AI-СКАНЕР БЕЗОПАСНОСТИ
AI-first сканер с 79 анализаторами и 40 000+ правилами обнаружения угроз для AI/ML, LLM агентов и MCP серверов.
★ 1,018 · PythonPIPELOCK ОХРАНЯЕТ AI АГЕНТЫ
AI-агент фаервол для MCP безопасности и исходящего трафика. Сканирует HTTP, MCP, A2A и WebSocket трафик в реальном времени на эксфильтрацию, SSRF и промпт‑инъекции, выдав
★ 993 · GoSHIP-SAFE БЕЗОПАСНОСТЬ AGENTIC
CLI‑сканер ship-safe ищет уязвимости CI/CD, риски прав агентов, внедрение MCP, секреты и зависимости, помеченные DMCA.
★ 872 · JavaScriptЗАЩИТА AI АГЕНТОВ ОТ УГРОЗ
safelabs-eval — фреймворк для red‑teaming и оценки защиты AI‑агентов, основанный на таксономии ASI01–ASI10 вдохновлённой OWASP. Написан на Python, поддерживает CrewAI, La
★ 829 · PythonИЗОЛИРОВАННАЯ СРЕДА ДЛЯ AI АГЕНТОВ
Каждому AI‑кодинг‑агенту выделяется собственная изолированная машина с root‑доступом, Docker и systemd. Встроенная активная защита автоматически обнаруживает и нейтрализу
★ 786 · GoTRACEKIT: АУДИТ ДЕЙСТВИЙ AI-АГЕНТОВ
Tracekit обеспечивает ненарушаемую трассировку действий AI-агентов с policy gates и перекрёстными проверками. Видите, что сделал агент и почему — критично для безопасност
★ 726 · PythonARCJET: БЕЗОПАСНОСТЬ ДЛЯ ИИ
Защищай свои AI‑агенты от инъекций промптов, кражи данных и злоупотребления инструментами с помощью простого TypeScript‑модуля.
★ 701 · TypeScriptAI-файрвол для MCP
Открытый AI-агентный файрвол для защиты MCP: контроль исходящих запросов, DLP, защита от SSRF и инъекций через промпты.
★ 636 · GoСКАНЕР БЕЗОПАСНОСТИ API-РЕЛЕЕВ
Локальный сканер для AI API-релеев и LLM-прокси. 620 ⭐ на GitHub.
★ 620 · PythonAGENT OPFOR ЭМУЛЯЦИЯ АТАК
Open‑source фреймворк для имитации атак на AI‑агенты и MCP‑серверы. Написан на TypeScript и уже собрал 377⭐.
★ 586 · TypeScriptCODE-ON-INCUS – ИЗОЛИРОВАННЫЕ АГЕНТЫ
Каждому AI‑агенту свой контейнер с root, Docker и systemd, а активная защита автоматически нейтрализует угрозы.
★ 530 · PythonОТКРЫТЫЙ БЕНЧМАРК ПРОМПТ-ИНЪЕКЦИЙ
Open-Prompt-Injection — benchmark для оценки атак и защиты от промпт-инъекций в LLM. Содержит наборы данных, скрипты тестирования и метрики защиты. Реализован на Python,
★ 514 · PythonБЕЗОПАСНОСТЬ ДЛЯ ИИ-КОДЕРОВ - КАПС
Prismor блокирует опасные команды, утечки секретов и промпт-инъекции в Claude Code, Cursor и Windsurf в реальном времени.
★ 494 · PythonAGENTHOUND ОХОТА НА АГЕНТЫ
Offensive security framework for AI agent infrastructure: recon, credential looting, model exfiltration, poisoning and attack‑path analysis.
★ 464 · GoКурс по промпт-хакингу
Самый полный курс по инженерии промптов и атакам на LLM: от основ до продвинутых техник взлома и защиты.
★ 394 · Jupyter NotebookLLMVault: ТРЕНИРОВОЧНАЯ ПЛАТФОРМА OWASP LLM
Научитесь защищать ИИ-системы: практические уязвимости Prompt Injection, RAG и агентов в одном открытом тренировочном фреймворке.
★ 356 · PythonОБЕЗОПАСИТЕЛЬНЫЙ СПИСОК НАВЫКОВ АГЕНТОВ
Собраны материалы по защите навыков ИИ‑агентов: атаки, защиты, фреймворки и бенчмарки. Список помогает исследователям и разработчикам оценивать уязвимости tool‑use и нара
★ 287АГЕНТ-АУДИТ СКАНЕР БЕЗОПАСНОСТИ
Статический сканер безопасности для агентов LLM. Выявляет промпт‑инъекции, аудитит конфиги MCP и выполняет taint‑анализ. Содержит 51 правило, соответствующее OWASP Agenti
★ 245 · PythonDOBERMAN-CORE — ЗАЩИТА AI АГЕНТОВ
Doberman-Core перехватывает каждый ввод, вывод и вызов инструмента во время работы AI-агента, блокируя небезопасные действия. Он работает как middleware, проверяя авториз
★ 243 · PythonРЕД-ТИМИНГ ИИ-АГЕНТОВ НА PYTHON
Humanbound — движок adversarial-тестирования, SDK и CLI для ИИ-агентов. Запускается локально или через платформу Humanbound. 218 звёзд на GitHub.
★ 239 · PythonГУАРДАНА ЗАЩИТА AI-МОДЕЛЕЙ
Guardana проверяет артефакты моделей, живые эндпоинты, MCP-серверы и трассировки агентов на наличие угроз безопасности. Формирует воспроизводимые доказательства для решен
★ 225 · PythonГАТЕ ПРИВАТНАЯ ГРАНИЦА ДАННЫХ
Gate создаёт детерминированный барьер между вашими данными и ИИ, гарантируя конфиденциальность без потери полезности.
★ 214 · RustARGUS: ТЕСТИРОВАНИЕ БЕЗОПАСНОСТИ AI АГЕНТОВ
Open-source фреймворк для red-team тестирования AI агентов. 261 проба с маппингом OWASP LLM Top 10, MITRE ATLAS и NIST AI RMF. Поддержка браузера, MCP и мок-платежей.
★ 210 · PythonADRIAN: БЕЗОПАСНОСТЬ AI АГЕНТОВ
Adrian мониторит и блокирует опасные действия AI‑агентов в реальном времени, предотвращая вредоносный вызов инструментов и инъекции промптов.
★ 203 · PythonОБОРОНА ПАМЯТИ AI-АГЕНТОВ
Защита от poisoning memory AI-агентов (OWASP ASI06). Drop-in для LangChain, OpenAI Agents, AutoGen, CrewAI и mem0.
★ 203 · PythonНовые проекты по теме — в Telegram
Telegram →