Data Engineering: open-source проекты на GitHub
18 репозиториев по теме Data Engineering, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
ОРКЕСТРАТОР РАБОЧИХ ПРОЦЕССОВ ДЛЯ ДАННЫХ И ИИ
Открытая платформа оркестрации для данных, ИИ и инфраструктуры. Объединяет запланированные и событийно-управляемые рабочие процессы через декларативный YAML с Git-версион
★ 30,287 · JavaCocoindex: Инкрементальный движок для агентов
Инкрементальный движок для агентов с долгосрочным горизонтом. Если нравится — поставь звезду!
★ 9,785 · PythonPython-оболочка xonsh
Кроссплатформенная оболочка, объединяющая мощь Python и привычный командный интерфейс, с поддержкой ИИ-ассистентов.
★ 9,336 · PythonUNSTRACT — LLM VS СТРОКИ ДЛЯ ДАННЫХ
Извлечение структурированных данных из неструктурированных документов с помощью LLM. Готов к деплою через API и ETL-пайплайны. ⭐ 6624
★ 6,624 · PythonDAFT — ДВИЖОК ДАННЫХ ДЛЯ AI
Высокопроизводительный движок для AI и мультимодальных задач. Обрабатывайте изображения, аудио, видео и структурированные данные любого масштаба. На Rust ⭐5533
★ 5,533 · RustHAMILTON - МОДУЛЬНЫЙ ДАТАФЛОУ
Apache Hamilton упрощает создание тестируемых, самодокументируемых пайплайнов данных с отслеживанием lineage.
★ 2,512 · Jupyter NotebookDUCKLE: МОЩНАЯ ЛОКАЛЬНАЯ ETL‑СТУДИЯ
Открытая локальная ETL/ELT студия с 360+ компонентами, работающая на скорости DuckDB и генерирующая пайплайны благодаря on‑device ИИ.
★ 1,573 · RustSAG: WORKBENCH ДЛЯ ДОКУМЕНТНОГО RAG
Готовый воркбенч для поиска по документам на базе SAG. TypeScript, 1136 звёзд!
★ 1,136 · TypeScriptKTX — КОНТЕКСТНЫЙ СЛОЙ ДЛЯ AI-АГЕНТОВ
Позволяет AI-агентам (Claude Code, Codex и др.) точно запрашивать данные через MCP с навыками, памятью и семантическим слоем. 🔥
★ 668 · TypeScriptALTIMATE-CODE AI ДЛЯ DATA
Open-source агентный движок для dbt, SQL и облачных хранилищ: 100+ инструментов, поддержка 10 складов, ИИ‑powered.
★ 612 · TypeScriptDBT-MCP: УПРОЩАЕМ РАБОТУ С DBT
Сервер MCP для интеграции dbt в любые AI-агенты и workflow. Позволяет выполнять модели dbt через единый интерфейс.
★ 578 · PythonAGENTS: ИИ-АГЕНТ ДЛЯ ДАННЫХ
Agents — инструментарий для создания AI‑агентов, автоматизирующих инженерию данных. Поддерживает ETL‑pайплайны, LLM и управление workflow.
★ 463 · PythonКонтекстный слой для ИИ-агентов
Ktx — исполняемый контекстный слой, который позволяет Claude Code, Codex и любому ИИ‑агенту точно запрашивать данные через MCP, используя навыки и память агента.
★ 427 · TypeScriptKtx — слой контекста
Ktx предоставляет универсальный слой управления контекстом для AI‑агентов, позволяя хранить, обновлять и совместно использовать состояние между различными модулями и серв
★ 395 · TypeScriptКОМПЛЕКСНЫЙ ПОРТФЕЛЬ ДАТА САЙЕНС
Подборка проектов по ИИ, данным и DevOps с реальными кейсами, продвинутыми техниками и пошаговыми туториалами. Подходит новичкам и специалистам, изучающим data science и
★ 357 · Jupyter Notebookhflow: ПРОВЕРКА КАЧЕСТВА ДАННЫХ ДЛЯ AI
hflow — SDK на Python для команд робототехники. Проверяет качество данных перед обучением AI-моделей. Интеграция с Airflow и DuckDB.
★ 310 · PythonКОЛЛЕКЦИЯ AI НАВЫКОВ DAGSTER
Проект собирает 218+ AI-навыков для автоматизации работы с Dagster. Готовые модули для оркестрации данных, интеграции с Claude Code и решения инженерных задач. Открытый м
★ 218 · PythonСлой контекста аналитика
ClariLayer сохраняет ваш аналитический контекст между сессиями ИИ, автоматически подгружая нужные данные и метаданные через протокол MCP.
★ 71 · TypeScriptНовые проекты по теме — в Telegram
Telegram →