NLP: open-source проекты на GitHub
82 репозиториев по теме NLP, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
🤗 Transformers
Фреймворк для определения моделей машинного обучения в тексте, зрении, аудио и мультимодальных моделях, для инференса и обучения.
★ 160,482 · PythonУнифицированная настройка LLM
Библиотека для эффективного дообучения более 100 языковых и vision‑моделей, представленная на ACL 2024.
★ 71,186 · PythonИзвлечение данных LangExtract
Python‑библиотека для извлечения структурированных данных из текста с помощью LLM: точное привязывание к источнику и интерактивная визуализация.
★ 36,452 · PythonПродвинутые техники RAG
Репозиторий демонстрирует различные продвинутые методы для систем Retrieval-Augmented Generation (RAG) с подробными туториалами в формате Jupyter Notebook.
★ 27,523 · Jupyter NotebookHaystack: AI-фреймворк для LLM
Открытый фреймворк для создания production-ready LLM-приложений с модульным управлением поиском, маршрутизацией, памятью и генерацией.
★ 25,289 · MDXUNILM МОЩНАЯ ПРЕДОБУЧЕННАЯ МОДЕЛЬ
UniLM — это масштабная самонаблюдаемая предобученная модель, охватывающая задачи, языки и модальности. Она поддерживает BEiT, BEiT-3, BitNet, DeepNet и Document AI, напис
★ 22,242 · PythonОТКРЫТЫЕ ФИНАНСОВЫЕ LLM ДЛЯ АНАЛИЗА ДАННЫХ
FinGPT — набор открытых финансовых больших языковых моделей от AI4Finance Foundation. Проект предлагает лёгкую дообучку (менее $300) вместо полного обучения за миллионы,
★ 21,591 · Jupyter NotebookDATASETS - ОГРОМНАЯ БАЗА ДАННЫХ ДЛЯ ИИ
Самая большая платформа с готовыми наборами данных для обучения моделей ИИ, предоставляющая быстрые и удобные инструменты для работы с данными.
★ 21,583 · PythonПАМЯТЬ ДЛЯ AI-АГЕНТОВ В ОДНОМ ФАЙЛЕ
Заменяет сложные RAG-пайплайны серверлесс-слоем памяти для AI-агентов с мгновенным поиском
★ 15,579 · RustСтруктурирование документов
Открытое ETL-решение для преобразования сложных документов в чистые структурированные форматы данных для языковых моделей.
★ 14,764 · HTMLАГЕНТЫ НА GPT БЕЗ БОЛИ
Открытая платформа для создания и деплоя LLM-агентов с поддержкой визуального конструктора и интеграции с популярными моделями.
★ 14,711 · TypeScriptTXTAI — AI ПЛАТФОРМА ВСЕ-В-ОДНОМ
Алгоритмический фреймворк для семантического поиска, оркестрации LLM и workflow с языковыми моделями. Всё в одном!
★ 12,620 · PythonОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ
Инструментарий для оптимизации и развертывания моделей глубокого обучения. Поддерживает конвертацию из PyTorch, TensorFlow, ONNX и запуск на CPU, GPU и NPU Intel.
★ 11,656 · C++AI инженерия с нуля
Изучай. Строй it. Доставляй it другим.
★ 7,884 · PythonAI ХУМАНАЙЗЕР ДЛЯ КОРЕЙСКОГО
Проект на Python, который превращает машинный корейский текст в естественный человеческий стиль, исправляя переводесе и 71 признак ИИ.
★ 6,547 · PythonSMILE - ИИ ДВИГАТЕЛЬ НА JAVA
SMILE — Statistical Machine Intelligence & Learning Engine, мощный фреймворк для построения моделей машинного обучения на Java.
★ 6,438 · JavaTRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ
Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.
★ 6,055 · PythonEASYR1: МНОГОМОДАЛЬНОЕ ОБУЧЕНИЕ RL
EasyR1 — масштабируемый фреймворк для обучения мультимодального усиленного обучения на veRL, обеспечивающий высокую эффективность и простоту использования.
★ 5,215 · PythonARGILLA - СОЗДАЙ ДАТАСЕТЫ БЫСТРЕЕ
Argilla помогает инженерам ИИ и экспертам предметной области совместно создавать качественные наборы данных для обучения моделей.
★ 5,203 · PythonSPARK-NLP - РЕВОЛЮЦИЯ В NLP
Spark NLP предоставляет передовые модели NLP и готовые пайплайны для масштабируемой обработки текста на Scala.
★ 4,163 · ScalaGIGATOKEN — ТОКЕНИЗАЦИЯ НА ГБ/С
gigatoken — быстрая токенизация языковых моделей на Rust, достигающая скорости гигабайт в секунду.
★ 4,155 · RustAdalFlow - ПОВЫСЬ ЭФФЕКТИВНОСТЬ LLM
Библиотека для создания и автооптимизации приложений на базе LLM на Python. Упрощает работу с промптами и настройкой моделей.
★ 4,153 · PythonLightLLM - БЫСТРЫЙ ИНФЕРЕНС LLM
Лёгкий и быстрый фреймворк для инференса и сервинга больших языковых моделей на Python. Простое масштабирование и высокая производительность.
★ 4,092 · PythonHUMANIZE-TEXT AI В ЧЕЛОВЕЧЕСКИЙ ТЕКСТ
Open-source AI‑humanizer преобразует текст, сгенерированный ИИ, в естественный человеческий стиль. Использует пайплайн SFT + KTO и цепочку переводов через DeepSeek, OpenR
★ 3,512 · PythonАгент для естественного японского
Инструмент на Python, который убирает «роботизированность» из AI-текстов и переписывает их в живой, естественный японский язык.
★ 3,267 · PythonLLM АГЕНТЫ: ОБЗОР ЛУЧШИХ РАБОТ
Подборка обязательных статей по агентам на больших языковых моделях.
★ 3,030DIY-LLM: ПОЛНЫЙ КУРС LLM С КОДОМ
Проект diy-llm предлагает шесть пошаговых Jupyter‑ноутбуков, охватывающих предобучение данных, токенизацию, Transformer, MoE, распределённое обучение, масштабирующие зако
★ 2,960 · Jupyter NotebookBOOTCAMP: МУЛЬТИМОДАЛЬНЫЙ ДАННЫЙ
Проект bootcamp объединяет инструменты для работы с неструктурированными данными: обратный поиск изображений, аудио, видео, молекулы и NLP‑задачи.
★ 2,453 · Jupyter Notebookalan-sdk-web - САМОКОДИРУЮЩАЯСЯ СИСТЕМА ДЛЯ ВЕБА
Alan AI SDK для веба добавляет самокодирующийся ИИ-агент в любое приложение, ускоряя разработку и автоматизируя рутинные задачи.
★ 2,421ОТЛИЧНЫЙ СПИСОК CHATGPT РЕСУРСОВ
Подборка лучших библиотек, SDK и API для работы с ChatGPT. Поддержи проект звездой!
★ 2,419МОЩНАЯ БИБЛИОТЕКА ДЛЯ CHATGPT
Открытая JavaScript-библиотека для работы с ChatGPT. 2000+ звёзд на GitHub!
★ 2,037 · JavaScriptSUPERLINKED INFERENCE ENGINE
Открытый сервер для инференса эмбеддингов, реранкинга и извлечения данных. 2000+ звёзд на GitHub.
★ 2,029 · PythonRAGHUB: РЕСУРСЫ И ФРЕЙМВОРКИ RAG
Сообщество собирает лучшие RAG-фреймворки, проекты и материалы для разработчиков ИИ. Вноси вклад и открывай новые решения.
★ 2,019CONTEXTGEM: ЭКСТРАКЦИЯ ДОКУМЕНТОВ LLM
ContextGem позволяет извлекать структурированные данные из любых документов с помощью LLM без сложного кода.
★ 1,844 · PythonUNDERTHESEA — AI-АССИСТЕНТ С 1700+ ЗВЁЗДАМИ
Мощный AI-ассистент на Python для автоматизации задач. Открытый проект с активным сообществом на GitHub.
★ 1,817 · PythonГалерея фигур топ‑конференций
Проект собирает 3 516 curated Figure 1/teasers из ICLR, ICML, NeurIPS, CVPR, ACL и AAAI за 2023‑2026 годы, снабжая их tier‑badges и интегрируя с FigureForge для retrieval
★ 1,616 · PythonEXTRACTTHINKER ИНТЕЛЛЕКТ ДОКУМЕНТОВ
ExtractThinker — библиотека для работы с документами в стиле ORM, предназначенная для интеграции с LLM. Она упрощает парсинг, анализ и обработку изображений и текста, пре
★ 1,605 · PythonLLM В SPACY PIPELINE БЕЗ БОЛИ
spacy-llm подключает GPT, Claude, Cohere и открытые модели к spaCy pipeline. Настраиваете через конфиг, получаете структурированный Doc с entities и relations. Никакого к
★ 1,399 · PythonЗАРАБАТЫВАЙ С ИИ ПРОЕКТЫ
Коллекция открытых AI‑проектов на Python, которые помогут быстро монетизировать идеи и автоматизировать заработок.
★ 1,221 · PythonNNCFF - УСКОРЯЕМ ИНФЕРЕНС МОДЕЛЕЙ
NNCFF — фреймворк сжатия нейросетей для ускоренного inference в OpenVINO™. Сокращает размер модели, сохраняя точность.
★ 1,221 · PythonAI УЧЕНИЕ: РОДОКОРНЫЕ КАРТЫ
Полный набор дорожных карт и ресурсов по AI, ML, DL и Data Science — от новичка до эксперта.
★ 1,195RAG-RETRIEVAL УНИФИЦИРУЕМ ПОИСК
Проект объединяет эффективное fine-tuning методов поиска RAG: эмбеддинги, ColBERT и реранкер.
★ 1,138 · PythonОНТОГПТ: ИЗВЛЕЧЕНИЕ ОНТОЛОГИЙ
Ontogpt — LLM‑инструмент для извлечения онтологий из текста, включая метод SPIRES. Он строит иерархические таксономии и генерирует схемы OWL/RDF, готовые к использованию
★ 1,099 · Jupyter NotebookЯПОНСКИЙ NLP: ТОП РЕСУРСЫ
Подборка библиотек, моделей, корпусов и датасетов для обработки японского языка на Python. Включает навыки Claude Code для быстрого поиска ресурсов.
★ 1,031KERAS HUB: МОДЕЛИ ДЛЯ КЕРАС
Платформа с готовыми предобученными моделями для Keras 3, упрощающая интеграцию ИИ в проекты.
★ 999 · PythonJEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ
Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.
★ 963 · PythonDEEPGIT: ИСКАТЕЛЬ GITHUB
DeepGit — агент на Python для поиска лучших репозиториев GitHub по теме. Использует LangChain и LangGraph, проводит глубокий анализ кода и документации. Возвращает отсорт
★ 929 · PythonMASCOT: МУЛЬТИАГЕНТНЫЙ АССИСТЕНТ
MASCOT — это многоагентный социально-коллаборативный помощник, представленный на EMNLP 2026. Проект реализован на Python и уже собрал 518★.
★ 804 · PythonSEARCHGPT: ИИ‑ПОИСК С ИСТОЧНИКАМИ
SearchGPT — поисковый движок на базе LLM, который возвращает ответы с точными ссылками на источники. Поддерживает поиск в интернете и по содержимому локальных файлов, обе
★ 711 · PythonRANKIFY: ИНСТРУМЕНТ ДЛЯ RAG
Rankify — Python‑тулкит для поиска, переранжирования и RAG. Включает 40 benchmark‑датaсетов, 7+ методов поиска и 24+ моделей ранжирования. Поддерживает несколько схем RAG
★ 683 · PythonREPO ДЛЯ UNLEARNING LLM
Сборник статей, кода и ресурсов по машинному «unlearning» в больших языковых моделях. Помогает исследователям удалять знания из LLM.
★ 638TRUSTLLM: ОЦЕНКА НАДЁЖНОСТИ LLM
TrustLLM — набор инструментов для оценки достоверности LLM, представленный на ICML 2024. Включает benchmark‑наборы, метрики и датасеты для измерения hallucinations, смеще
★ 636 · PythonSYCAMORE: ИИ ПОИСК ДАННЫХ
Sycamore — платформа на основе LLM для поиска и анализа неструктурированных данных. Позволяет быстро извлекать инсайты из текстов, документов и логов.
★ 606 · PythonОПЕНКХАТБИ: ЧАТ ИИ ДЛЯ ДАННЫХ
OpenChatBI — чат‑бот на базе LLM, который превращает естественные запросы в SQL‑запросы и визуализирует данные.
★ 571 · PythonИИ-СИСТЕМА ПЕРСОНАЛИЗИРОВАННЫХ ЭКЗАМЕНОВ
🧠 Адаптивная система генерации экзаменационных вопросов на базе LLM, графа знаний и алгоритма BKT.
★ 531 · PythonAI АССИСТЕНТ ДЛЯ SUBLIME TEXT
Интеграция GPT‑5, Opus 4.6, Gemini 3 и Ollama в Sublime Text для мгновенного кода и автодополнения.
★ 467 · PythonPYTORCH РЕПЛИКАЦИИ SOTA СТАТЕЙ
429 звёзд. From-scratch реализации трансформеров, диффузии, GAN, CLIP, LoRA, MoE в Jupyter Notebook. Есть эксперименты с SFT и GRPO пост-обучением.
★ 430 · Jupyter NotebookАРХИВ ПРОРЫВОВ В АГЕНТАХ AI
Ключевые статьи по агентам, архитектуре, обучению, RAG и on‑device AI. Актуальные исследования в одном репозитории.
★ 426АДАПТИВНЫЙ ЧАНКИНГ ДЛЯ RAG
Автоматически подбирает оптимальный метод чанкинга под каждый документ для улучшения RAG-потоков. Принято на LREC 2026.
★ 404 · PythonPATINA: УДАЛЕНИЕ ШАБЛОНОВ ИИ
Паттина находит и переписывает шаблоны AI‑текста на четырёх языках. Работает как скилл для Claude Code, Codex CLI, Cursor, OpenCode и как Node.js CLI.
★ 388 · JavaScriptНовые проекты по теме — в Telegram
Telegram →