Распознавание речи

Ставится отдельно, в составе набора Распознавание речи: модуль не входит в установщик приложения. Откройте Каталог модулей → Дополнительные и нажмите Установить на карточке набора Распознавание речи, и набор поставит все свои модули разом.

О чём эта страница

Голосовое управление стримом: вы говорите вслух, что хотите, а умный ИИ ассистент это делает. Запуск прогнозов голосом, проведение опроса, переключение сцены в OBS, смена названия и категории, нарезка клипа, сообщение в чат, включение умной розетки — всё это, не отпуская мышь посреди игры.

Голосовые команды для стримеров без облака работают наполовину: речь распознаётся на вашем компьютере, а отвечает и действует ИИ, и каждая команда тратит кредиты.

Настройка занимает два экрана, и они отвечают на разные вопросы:

• Голос → Распознавание — как приложение вас слышит: микрофон, язык, когда слушать, как вы называете бота.
• Чат-бот → Голосовое управление — что боту разрешено делать, когда он вас услышал.

Распознавание работает на вашем компьютере, поэтому звук никогда его не покидает. К ИИ уходит только сам запрос — и только после того, как приложение решит, что вы обращались к боту; за этот запрос вы и платите.

Как настроить

1. Выберите модель распознавания

Голос → Распознавание, блок Модель распознавания. Выберите одну и нажмите Скачать — это разовая загрузка, после которой распознавание работает офлайн. В строке для каждой модели указано, сколько памяти она занимает и как быстро работает на вашей видеокарте и на вашем процессоре: выберите ту, чьи показатели вас устраивают, а не самую большую.

Пока модель не скачана, ничего не слышно, и плитка говорит Распознавание не готово — это не тишина, а отсутствующая модель.

2. Микрофон и язык

Блок Микрофон и язык. Найти микрофоны показывает их реальные названия; без этого используется системный микрофон по умолчанию.

Установите Язык, на котором вы говорите. Если оставить Определять на слух, каждая фраза проходит через дополнительную проверку, поэтому распознавание примерно в два раза медленнее.

3. Выберите, когда слушать

Блок Когда слушать, и это самый важный выбор.

• По удержанию клавиши — микрофон открывается, пока клавиша удерживается, и закрывается, когда вы отпускаете. Назначьте клавишу с помощью Назначить; она не забирается у других программ, поэтому продолжает работать внутри игры. Всё, что вы говорите, удерживая клавишу, идёт боту, и имя не нужно: сама клавиша говорит, что вы обращаетесь к нему.
• Всё время — микрофон остаётся открытым на весь стрим. Теперь приложению нужно отличать вашу речь от запроса, и для этого нужно имя бота.

4. Назовите бота, если микрофон открыт всегда

Блок Как вы называете бота. Произнесите имя, и остальная часть фразы пойдёт боту: «Nova, запусти опрос».

Оставьте имя пустым, и каждая ваша фраза пойдёт боту — и каждая из них стоит кредитов. Экран говорит об этом красным цветом, пока микрофон открыт, а имя отсутствует. При По удержанию клавиши пустое имя допустимо: клавиша является триггером.

5. Слово, которым остановить озвучку

Произнесите его, пока бот говорит, и он сразу замолкает. Имя здесь не нужно — к тому времени, как вы его произнесёте, бот уже закончит. Считается только слово целиком: «стоп, и поменяй название» будет просьбой, а не словом остановки.

Оставьте поле пустым, и будет использовано слово для вашего языка: stop, стоп, alto, pare, stopp.

Слово останавливает всё, что читает приложение, а не только бота. Оно делает то же, что кнопка Замолчать на плитке Озвучка: Очередь: обрывает текущую реплику и выбрасывает всю очередь, вместе с донатами и подписками, которые ждали своей очереди. Позже они не прочитаются. Если нужно оборвать только текущую реплику, нажмите на той же плитке Пропустить.

6. Разрешите нужные действия

Чат-бот → Голосовое управление. Каждое действие — это карточка с ценой в кредитах и переключателем. Всё, что нельзя отменить, изначально выключено.

Учить список фраз не нужно. Самые частые команды узнаются прямо на вашем компьютере, без ИИ: сохранить клип, переключить сцену или включить и выключить умную розетку по имени, закрыть опрос, закрыть ставки прогноза и отменить его. Они выполняются сразу и ничего не стоят. Всё остальное уходит ИИ, и он понимает, что вы имели в виду, поэтому «вырежи клип» и «сохрани этот момент» приводят к тому же действию, что и «клипни это». Названия, которые он может использовать — сцены OBS, кнопки панели управления, умные розетки, исходы прогнозов — берутся из того, что фактически подключено, поэтому он не может придумать сцену, которой у вас нет.

Что он может делать

Двенадцать, и это весь список. Клипы, название, опросы и прогнозы идут через Twitch; на YouTube и Kick ассистент пишет в чат, переключает сцены и жмёт кнопки Панели управления. Одна фраза — одно действие: «закрой ставки и переключи сцену» сделает только первое.

Всё, что не является действием, — это обычный ответ: спросите, какая погода, сколько идёт стрим, во что вы играли на прошлой неделе, какие у вас команды чата, о чём вы спрашивали минуту назад.

Просить действие может только ваш голос

Блок Кто может просить на экране Чат-бот → Голосовое управление говорит это двумя строками: Ваш голос получает действия, Чат, любой в нём получает только разговор. Зритель или модератор, написавший боту в чат «запусти прогноз» или «клипни это», получит ответ словами, и ничего не произойдёт, как бы ни было сформулировано сообщение. То же касается вашего собственного аккаунта в чате: в чате боту действия не даются вовсе, и попросить о них можно только голосом в микрофон.

Спрашивать перед тем, что нельзя отменить

Включено по умолчанию. Бот называет исход — «Завершение прогноза: „Мы победим“» — и ждёт «да». Он называет исход, а не действие, специально: вы подтверждаете то, что нельзя взять назад.

Выключите это, и бот просто сделает действие. Быстрее, и назад пути не будет.

Где вы видите, что произошло

Плитка Эфир: Голос на панели управления ведёт ленту: ваши фразы и ответы бота, по порядку. Цвет полосы слева показывает, чем всё закончилось — синий для ответа, зелёный для выполненного действия, жёлтый для встречного вопроса, красный для отказа с указанием причины рядом.

По умолчанию бот произносит короткую версию вслух — «Опрос запущен» — а подробности попадают в эту ленту. Если у вас нет второго экрана, чтобы их читать, включите Зачитывать результат полностью на экране Голосового управления.

Пять кнопок в заголовке плитки:

• микрофон — переключает между по удержанию клавиши и всё время, та же настройка, что и на экране распознавания;
• динамик — читать ответы вслух или оставлять их текстом в ленте. Это тот же переключатель, что Произносить ответы вслух на экране Голосового управления;
• Скопировать ленту — кладёт всю ленту в буфер обмена, каждую строку со временем и тем, кто её сказал;
• Очистить ленту — очищает ленту на плитке. Больше ничего не меняется: сделанные действия остаются сделанными;
• питание — самая крайняя: бот замолкает, распознавание останавливается, и модель покидает память. Сценарии, запускаемые донатами и очками канала, не затрагиваются — им никогда не нужен был микрофон. Останавливаются только сценарии, запускаемые произнесённой фразой.

Пока вы в эфире, в заголовке виден ещё и счётчик вроде 12 💎 за эфир: кредиты, которые голосовой ассистент потратил с начала этого эфира. Ответы в чате в него не входят. Со следующим эфиром счёт начинается с нуля, а вне эфира счётчика не видно.

Сколько это стоит

Голосовое управление — платная возможность. Половина, которая слышит, работает на вашем компьютере и к счёту ничего не добавляет; половина, которая понимает и действует, — это ИИ, и платите вы именно за неё.

• Частые команды ничего не стоят. Сохранить клип, переключить сцену, включить или выключить умную розетку по имени, закрыть опрос, закрыть ставки и отменить прогноз: это узнаётся на вашем компьютере и выполняется без ИИ, даже без аккаунта и при нулевом балансе.
• Всё остальное: два запроса к ИИ, а не один: дешёвый этап разбора, который исправляет услышанное и решает, нужен ли интернет, и сам ответ. Цена на карточке действия показывает, сколько оно стоит, когда его выполняет ИИ.
• Само распознавание не тарифицируется. Оно идёт на вашем компьютере, поэтому открытый микрофон ничего не стоит, пока вы не обратились к боту.
• Веб-поиск — десять кредитов. Это происходит только тогда, когда вопрос требует фактов из интернета, и только если включено Разрешить веб-поиск.

Когда это не работает

Вообще ничего не слышно. Проверьте, скачана ли модель, затем используйте Проверить микрофон — произнесите фразу в течение четырёх секунд, и приложение покажет, что услышало. Если ничего не показывает, увеличьте Усиление входа или уменьшите Порог речи. Если карточка состояния или плитка Эфир: Голос пишет Микрофон не найден, приложение не видит ни одного микрофона: подключите микрофон. В режиме По удержанию клавиши нажмите клавишу снова, в режиме Всё время прослушивание возобновится само. Проверить микрофон сразу ответит тем же, и усиление здесь не поможет.

Бот отвечает на каждую фразу. Микрофон в режиме Всё время, а имя пустое. Дайте ему имя или переключитесь на По удержанию клавиши.

Бот вас слышит, но ничего не делает. Действие выключено на экране Голосового управления, или нужная платформа не подключена — карточка говорит, какая именно.

Он говорит: «Я не понял, какую сцену вы имели в виду». Услышанное имя не совпадает ни с чем из подключённого. Названия сцен берутся из OBS, названия кнопок — с панели управления; произносите имя так, как оно там написано.

Он отвечает не о том, хотя услышал верно. Перед ответом приложение чинит услышанное по именам, которые знает, — сцены, устройства, кнопки, — и редкое ваше слово может замениться одним из них. Впишите это слово на Голос → Распознавание, на вкладке Имена, которые важно не переврать: этот список читает и починка, а слово из него не подменяется никогда.

В списке стоит «Выбранный раньше микрофон (не найден)». Сохранённый микрофон не совпадает ни с одним устройством, которое система показывает сейчас. Открывая микрофон, приложение сначала ищет то же устройство по имени и, если находит, продолжает слушать его и запоминает заново. Если его действительно нет, распознавание переходит на системный микрофон по умолчанию, а карточка состояния на этой странице и плитка Эфир: Голос пишут Выбранный микрофон не найден; карточка вдобавок называет микрофон, который слушают вместо него. Подключите свой обратно: в режиме Всё время приложение вернётся на него само, в режиме По удержанию клавиши при следующем нажатии. Чтобы взять другой, нажмите Найти микрофоны, выберите его и сохраните. Если микрофона нет вообще, распознаванию нечего слушать, и обе пишут Микрофон не найден.

Написано «Распознавание не запустилось». Не загрузился движок, и микрофон тут ни при чём — строкой ниже стоит то, что ответила система. Сначала обновите приложение: сборки до 0.14.2 уезжали без одной из системных библиотек Windows, и на чистой системе распознавание не запускалось вовсе. Если надпись осталась и после обновления, отправьте в поддержку логи вместе с этой строкой.