Ollama 2026: запуск LLM локально на MacBook, Linux и Windows

Зачем запускать LLM локально

Три причины: данные не покидают машину (compliance), нет latency на API вызовы, нет платы за токены. В 2026 году модели сжались: Llama 3 8B в 4-bit quantization весит 4.7 GB и работает на любом MacBook M-серии или ноутбуке с 16 GB RAM.

Установка за одну команду

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — скачать installer с ollama.com
# После установки
ollama serve  # запускает сервер на localhost:11434

Запуск моделей

# Llama 3 8B — баланс скорости и качества
ollama run llama3

# Mistral 7B — отличен для кода
ollama run mistral

# Gemma 2 9B — Google, сильный reasoning
ollama run gemma2

# Qwen 2.5 Coder — лучший для кода среди малых моделей
ollama run qwen2.5-coder

OpenAI-совместимый API

Ollama поднимает REST API полностью совместимый с OpenAI. Любой код с openai Python SDK работает без изменений — меняешь только base_url.

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama',  # любая строка
)

response = client.chat.completions.create(
    model='llama3',
    messages=[{'role': 'user', 'content': 'Привет'}]
)
print(response.choices[0].message.content)

Интеграция с VS Code и Cursor

В Continue (расширение VS Code) в settings.json указываешь provider ollama и model llama3. Cursor поддерживает Ollama через Custom API с base URL http://localhost:11434/v1. Autocomplete работает полностью оффлайн.

Benchmark на разном железе