ЧТО ИЗМЕНИЛОСЬ К 2026 ГОДУ
Ещё пару лет назад голосовой ассистент собирался по классике: микрофон пишет аудио, файл целиком уходит в STT, текст летит в LLM, ответ гонится в TTS, и только потом пользователь слышит звук. Каждый этап — блокирующий. Суммарная задержка легко переваливала за 3-4 секунды, и разговор ощущался как переписка по рации.
Сейчас всё крутится вокруг двух слов: realtime и streaming. Аудио обрабатывается кусками по 20-40 мс, распознавание идёт потоково, LLM отдаёт токены по мере генерации, а TTS начинает озвучивать первое предложение, пока модель ещё дописывает второе. Плюс появился отдельный класс — speech-to-speech модели, которые едят звук и выдают звук напрямую, без промежуточного текста. По ощущениям это разница между звонком по спутнику и живым разговором в комнате.
АНАТОМИЯ ГОЛОСОВОГО АГЕНТА
Даже в 2026-м классический пайплайн никуда не делся — он гибче, дешевле и предсказуемее для продакшена. Разложим по слоям:
- VAD (Voice Activity Detection) — определяет, где речь, а где тишина. Именно VAD решает, когда пользователь закончил фразу. Лёгкие модели вроде Silero VAD крутятся прямо на CPU.
- STT (Speech-to-Text) — распознавание речи. Потоковый режим отдаёт частичные гипотезы каждые несколько сотен миллисекунд.
- LLM — мозг агента. Здесь живёт системный промпт, функции (tools) и память диалога.
- TTS (Text-to-Speech) — синтез речи. Стриминговый TTS критичен: он режет задержку до первого звука (time-to-first-byte).
- Оркестратор — склеивает всё, обрабатывает перебивания (barge-in), таймауты и переключение ходов.
Ключевая метрика всей системы — не точность распознавания сама по себе, а end-to-end latency: время от конца вашей фразы до первого звука ответа. Ниже 800 мс диалог звучит естественно, выше 1.5 секунды — уже раздражает.
SPEECH-TO-SPEECH ПРОТИВ КЛАССИЧЕСКОГО СТЕКА
Speech-to-speech (realtime API от крупных провайдеров, а также открытые модели) убирает промежуточный текст: интонация, паузы, смех и эмоции доходят до модели напрямую. Звучит человечнее, задержка минимальная. Но есть цена: сложнее логировать, труднее вставить строгую бизнес-логику и валидацию, дороже за минуту, и вы почти не контролируете, что именно модель «услышала».
Классическая цепочка проигрывает в естественности, зато выигрывает в контроле. У вас есть текстовый транскрипт для аналитики, можно подменить любой компонент, легко прикрутить RAG и жёсткие правила. Для банковского бота или техподдержки это решает.
| Критерий | Speech-to-Speech | Классический STT→LLM→TTS |
|---|---|---|
| Задержка (end-to-end) | ~300-500 мс | ~600-1200 мс |
| Естественность интонации | Высокая | Средняя (зависит от TTS) |
| Контроль над логикой | Низкий | Полный |
| Текстовый транскрипт | Опционально, приблизительно | Точный, из коробки |
| Замена компонентов | Нет, всё монолитно | Любой слой меняется |
| Стоимость за минуту | Выше | Ниже, гибко оптимизируется |
ВЫБОР ДВИЖКОВ: STT И TTS В 2026
Распознавание (STT)
Для локального и офлайн-сценария по-прежнему актуально семейство Whisper и его ускоренные форки (faster-whisper на CTranslate2) — они дают отличное качество на многих языках, включая русский. Для потокового распознавания в реальном времени берут специализированные streaming-модели, потому что Whisper по своей природе батчевый и не любит короткие чанки. Из открытого — распознавалки на базе Conformer и NeMo хорошо тянут стриминг.
Synthesis (TTS)
Here the choice is wider than ever. Open models (XTTS families, as well as new neural synthesizers with voice cloning from a few seconds of sample) provide decent quality for free, but require GPU for low latency. Cloud streaming TTS win on time-to-first-byte — the first sound arrives in ~150-300 ms. Fresh engine releases are easy to track in the REDDYX catalog, where open TTS/STT repositories appear earlier than they are written about in news.
- Need economy and privacy — faster-whisper + local XTTS on your GPU.
- Need minimal latency without your own hardware — cloud streaming STT + streaming TTS.
- Need maximally live dialogue — realtime speech-to-speech API.
BUILDING A WORKING PIPELINE IN PYTHON
Below is a minimal but honestly working skeleton of a classic agent: VAD catches the end of phrase, STT recognizes, LLM responds in a stream, and TTS speaks by sentences without waiting for the full response. This is a skeleton — connect your own STT/TTS/LLM clients.
import asyncio
import re
from faster_whisper import WhisperModel
stt = WhisperModel("small", device="cuda", compute_type="float16")
# --- STT: распознаём накопленный аудиобуфер ---
def transcribe(audio_pcm_path: str) -> str:
segments, _ = stt.transcribe(audio_pcm_path, language="ru", beam_size=1)
return " ".join(s.text for s in segments).strip()
# --- Режем поток LLM на фразы, чтобы TTS стартовал раньше ---
async def sentence_chunks(token_stream):
buffer = ""
async for token in token_stream:
buffer += token
# как только видим конец предложения — отдаём кусок в синтез
if re.search(r"[.!?…]\s*$", buffer):
yield buffer.strip()
buffer = ""
if buffer.strip():
yield buffer.strip()
# --- Оркестрация одного хода диалога ---
async def handle_turn(audio_path, llm_stream_fn, tts_speak_fn, history):
user_text = transcribe(audio_path)
print(f"[user] {user_text}")
history.append({"role": "user", "content": user_text})
token_stream = llm_stream_fn(history) # async-генератор токенов
full_reply = ""
async for phrase in sentence_chunks(token_stream):
full_reply += phrase + " "
# запускаем озвучку фразы параллельно, диалог не ждёт конца ответа
asyncio.create_task(tts_speak_fn(phrase))
history.append({"role": "assistant", "content": full_reply.strip()})
return full_reply
The trick here is in sentence_chunks: we do not wait for LLM to finish the whole paragraph. The first completed sentence goes to TTS, and the user hears the beginning of the answer while the model is still thinking about the ending. This is the cheapest way to shave off a second of latency without changing providers.
THREE PITFALLS THAT EVERYONE TRIPS OVER
1. Interruption (barge-in)
The person starts speaking while the agent is still speaking. Without barge-in handling, the bot simply finishes its line into emptiness. Solution: keep VAD active during TTS playback and, upon speech detection, instantly mute the synthesis and clear the playback queue.
2. Determining the end of turn (endpointing)
Too short a silence timeout — the bot interrupts on a pause for breath. Too long — awkward silence. Practice 2026: adaptive threshold, 500-800 ms of silence by default, but shorter if the phrase is grammatically complete.
3. Latency accumulation
Each layer adds its own milliseconds, and they add up. Measure latency of each stage separately (VAD, STT, TTFT LLM, TTFB TTS) — usually there is a single bottleneck, and you need to fix exactly that, not everything at once.
WHERE THIS IS USED IN PRODUCTION
Voice agents have already gone beyond demos. Real-world applications of 2026:
- Outgoing and incoming calls — lead qualification, reminders, primary support. Here a tie-in with telephony (SIP/WebRTC) is mandatory.
- Voice interface in applications — hands busy (cooking, driving, warehouse), voice wins over taps.
- Assistants inside devices — on the edge, where privacy and offline work matter, they pull quantized local models.
For WebRTC transport in the browser, de facto standard have become open framework-orchestrators that take care of buffering, barge-in, and stream synchronization — don’t reinvent this manually. A selection of such tools and fresh voice-AI frameworks can be conveniently monitored in the REDDYX catalog.
Frequently Asked Questions
How does STT differ from TTS?
STT (speech-to-text) — speech recognition, turns sound into text. TTS (text-to-speech) — speech synthesis, turns text into sound. In a voice agent, they are located at the input and output respectively, and a language model operates between them.
What delay is considered normal for a voice assistant?
Natural conversation feels with an end-to-end delay of up to 800 ms from the end of your phrase to the first sound of the answer. Realtime speech-to-speech models reduce it to ~300-500 ms, while the classic stack usually stays in the range of 600-1200 ms.
Can a voice agent be built completely locally and for free?
Yes. The combination of Silero VAD + faster-whisper for recognition + local TTS with voice cloning + open LLM works offline. Cost — you need a GPU for acceptable delay, otherwise synthesis and recognition will noticeably lag.
What to choose: speech-to-speech or classic pipeline?
Speech-to-speech — for the most lively conversation, where intonation and minimal delay matter. Classic STT→LLM→TTS — where you need an accurate transcript, strict business logic, RAG, and the ability to change any component independently.
The voice interface in 2026 follows exactly the path that chatbots took in 2023: from a toy to a working tool. Whoever assembles a decent realtime stack now will be ahead by a year. I break down new open TTS, STT, and voice-agent frameworks in the Telegram channel REDDYX AI — new repositories every 30-60 minutes.