Construyendo un asistente de voz en Python, parte 1

Buenas tardes. Probablemente, todos vieron películas sobre el hombre de hierro y querían un asistente de voz similar a Jarvis. En esta publicación, te mostraré cómo hacer un asistente de este tipo desde cero. Mi programa estará escrito en Python 3 en el sistema operativo Windows. ¡Entonces vamos!



Implementación



Nuestro asistente trabajará de acuerdo con el siguiente principio:

1. Constantemente "escucha" el micrófono
2. Reconocer palabras en google
3. Ejecuta el comando o responde

1) Síntesis del habla



Primero, instalaremos voces rusas en el sistema de Windows. Para hacer esto, siga el enlace y descargue las voces en la sección SAPI 5 -> Ruso. Hay 4 voces, puedes elegir la que más te guste. Instalar y seguir adelante.



Necesitamos proporcionar la biblioteca pyttsx3 para la síntesis de voz:

pip install pyttsx3

Luego, puede ejecutar el programa de prueba y verificar si se está ejecutando correctamente.

import pyttsx3

text = '- '
tts = pyttsx3.init()
rate = tts.getProperty('rate') # 
tts.setProperty('rate', rate-40)

volume = tts.getProperty('volume') # 
tts.setProperty('volume', volume+0.9)

voices = tts.getProperty('voices')

#    
tts.setProperty('voice', 'ru') 

#    
for voice in voices:
    if voice.name == 'Anna':
        tts.setProperty('voice', voice.id)

tts.say(text)
tts.runAndWait()

2) Reconocimiento de voz



Existen muchas herramientas de reconocimiento de voz, pero todas son de pago. ¡Así que intenté encontrar una solución gratuita para mi proyecto y la encontré! Esta es la biblioteca speech_recognition.

pip install SpeechRecognition

También necesitamos la biblioteca PyAudio para trabajar con el micrófono.

pip install PyAudio

Algunas personas tienen problemas para instalar PyAudio, por lo que debe seguir este enlace y descargar la versión de PyAudio que necesita. Luego ingrese a la consola:

pip instal   

Luego ejecuta el programa de prueba. Pero antes de eso, debe corregir device_index = 1 en el valor de índice de su micrófono. Puede averiguar el índice del micrófono usando este programa:

import speech_recognition as sr
for index, name in enumerate(sr.Microphone.list_microphone_names()):
    print("Microphone with name \"{1}\" found for `Microphone(device_index={0})`".format(index, name))

Prueba de reconocimiento de voz:

import speech_recognition as sr

def record_volume():
    r = sr.Recognizer()
    with sr.Microphone(device_index = 1) as source:
        print('.')
        r.adjust_for_ambient_noise(source, duration=0.5) #  
        print('...')
        audio = r.listen(source)
    print('.')
    try:
        query = r.recognize_google(audio, language = 'ru-RU')
        text = query.lower()
        print(f' : {query.lower()}')
    except:
        print('Error')

while True:
    record_volume()

Si todo está bien, sigue adelante.



Si desea que el asistente solo hable con usted (sin IA), puede hacerlo utilizando la herramienta gratuita DialogFlow de Google. Después de iniciar sesión, verá una pantalla donde ya puede crear su primer bot. Haga clic en Crear agente. Creamos un nombre para el bot (nombre del agente), seleccionamos el idioma (idioma predeterminado) y hacemos clic en Crear. ¡El bot ha sido creado!



Para agregar nuevas respuestas a diferentes preguntas, debe crear una nueva intención. Para hacer esto, en la sección de intenciones, haga clic en Crear intención. Rellenamos los campos "Título" y Frases de formación, y luego las respuestas. Clic en Guardar. Eso es todo.



Para controlar un bot en Python, debe escribir el siguiente código. En mi programa, el bot da voz a todas las respuestas.

import apiai, json, re
import pyttsx3
import speech_recognition as sr

tts = pyttsx3.init()
rate = tts.getProperty('rate')
tts.setProperty('rate', rate-40)
volume = tts.getProperty('volume')
tts.setProperty('volume', volume+0.9)
voices = tts.getProperty('voices')
tts.setProperty('voice', 'ru')
for voice in voices:
    if voice.name == 'Anna':
        tts.setProperty('voice', voice.id)

def record_volume():
    r = sr.Recognizer()
    with sr.Microphone(device_index = 1) as source:
        print('.')
        r.adjust_for_ambient_noise(source, duration=1) 
        print('...')
        audio = r.listen(source)
    print('.')
    try:
        query = r.recognize_google(audio, language = 'ru-RU')
        text = query.lower()
        print(f' : {query.lower()}')
        textMessage( text )
    except:
        print(' .')

def talk( text ):
    tts.say( text )
    tts.runAndWait()

def textMessage( text ):
    request = apiai.ApiAI(' ').text_request() #  API  Dialogflow
    request.lang = 'ru' #      
    request.session_id = ' id' # ID   (,    )
    request.query = text #        
    responseJson = json.loads(request.getresponse().read().decode('utf-8'))
    response = responseJson['result']['fulfillment']['speech'] #  JSON   
    #      -  ,   -    
    if response:
        request.audio_output = response
        talk(response)
    else:
        talk('.     .')

while True:
    record_volume()

Eso es todo por hoy. En la siguiente parte te diré cómo hacer un bot inteligente, es decir para que no solo pueda responder, sino también hacer algo.