Contributions to statistical dialog management and incremental dialog processing

Resumen

El objetivo de este trabajo puede ser dividido en dos partesprincipales:¿ en la primera parte estudiar y definir nuevas metodologias porla gestion estadistica del dialogo.¿ en la segunda definir y implementar una estrategia de dialogoincremental para procesar frases largas de usuarios.Para definir una nueva metodologia de gestion de dialogo estaditica,se propone una nueva tecnica para lidiar con la tarea de gestion dedialogo. Esta tecnica utiliza la distribucion de probabilidad conjuntasobre el lenguaje semantico proporcionado por el modulo decomprension semantica del habla y el lenguaje de las acciones delsistema proporcionado por el gestor del dialogo.La distribucion de esta probabilidad se aprende a partir de un corpusetiquetado en terminos de Actos de Dialogo. Bi-lenguajes regularesestocasticos se proponen para modelar esta distribucion deprobabilidad conjunta. Con este objetivo se ha definido un biautomatonprobabilistico y deterministico. Ademas un modelo deusuario se ha definido tambien utilizando la misma tecnica.Proponemos y evaluamos estrategias de decision sobre el automatonprobabilistico y deterministico para seleccionar la mejor accion delsistema en cada paso de la interaccion. Por esto hemos definidoalgunas funciones de decision euristica que consideran lasprobabilidades de las acciones aprendida a partir de un corpus dedialogo etiquetado en terminos de actos de dialogo, y tambien elnumero de atributos conocidos en el desarrollo de un dialogo.Definimos y comparamos estrategias de decision basadas endecisiones locales o en decisiones globales sobre un trayectocompleto en el modelo grafico constituido por el automaton. Hemosdefinido en total cuatro estrategias, Maximum Probability (MP),Maximum Probability + Attributes (MPA), Best Path Probability(BP), y Best Path Probability + Attributes (BPA). De estas cuatroestrategias dos toman la decision basandose solo en el proximo turnoen el modelo grafico, y son la MP y la MPA, mientras las otras dostienen en cuenta los caminos entero en el modelo grafico, tomandodecisiones globales, y son la BP y la BPA. Ademas dos solo tienenen cuenta la probabilidad de las transicciones, la MP y la BP;mientras las otras dos tienen en cuenta la probabilidad de lastransicciones y tambien el numero de atributos que se rellenatomando una decision en el dialogo, y son la MPA y la BPA.Tambien hemos definido complejas tecnicas de suavizado para lidiarcon evento inesperado y no vistos en el desarrollo de un dialogo.Estas tecnicas de suavizado permiten al sistema recuperar los erroreso situaciones no prevista cambiando rapidamente el estado delsistema, a un estado que se encuentra en otra parte del modelografico. La formulacion propuesta se aplica para componer unmodelo grafico que hemos se ha desarrollado y testeado con variosexperimentos. La evaluacion experimental fue llevada a cabo paraevaluar el model de dialogo y las estrategias de decision en una tareade generacion de dialogos utilizando tambien un modelo de usuario.Hemos dejado el Gestor de Dialogo definido con el modelo dedialogo propuesto interactuar con el Modelo de Usuario, probandolas 4 diferentes estrategias propuestas.Los resultados obtenidos muestran una buena performance delsistema. Podemos tambien ver en los experimentos que lasestrategias de decision local obtienen una mejor performance delsistema respecto a las estrategias globales basadas en camino en elmodelo grafico debido a la imprevisibilidad del comportamiento delusuario. Despues de haber seleccionado las mejores estrategias en latarea de generacion de dialogo, hemos procedido a evaluar el sistemaen una tarea real , desarrollando una demo completa de un sistemade dialogo y testeandola con usuarios reales. Hemos pedido a unconjunto de 20 usuarios reales, de diferentes nacionalidades perotodos capaces de hablar ingles, de desarrollar dos dialogos connuestro Sistema de Dialogo, uno por cada estrategia a evaluar. Lasestrategias utilizadas tenian un orden casual, y los usuarios no sabiancual era la estrategia utilizada en cada dialogo. Le hemosproporcionado a cada usuario un mapa de Pittsburgh y le hemospedido de intentar obtener el horario de bus entre dos puntos en elmapa preguntando al sistema. En los experimentos con usuariosreales hemos obtenido una tasa de exito del 90% con la estrategiaque ha obtenido mejores resultados, la estrategia MP. La evaluacionexperimental y los buenos resultados obtenidos nos permiteconsiderar este modelo de dialogo propuesto como una alternativamuy prometedora para desarrollar Sistemas de Dialogo Hablado.Ademas se define una estrategia de dialogo incremental en la mismatarea de dialogo. El Procesamiento de Dialogo Incremental es unatecnica muy util que permite a un Sistema de Dialogo Hablado deprocesar de forma incremental cada minima unidad de input delhabla del usuario y proporcionar una respuesta del sistema masrapida.La estategia de procesamiento de dialogo incremental que se hadefinido esta basada en generar una respuesta del sistema yinterrumpir el usuario en cuanto tengamos unos resultados dereconocimiento parciales estables de lo que el usuario esta diciendo.Para determinar la estabilidad de los resultados parciales dereconocimiento utilizamos cuatro parametros diferentes que son: laduracion de la frase del usuario, los ultimo N resultados semanticosparciales, la medida de confianza y la pausa presente al final de unresultado parcial. Si estos cuatro parametros superan un umbralseleccionado entonce se genera directamente la respuesta del sistemasin esperar al fin de la frase de usuario, interrumpiendo el turno deusuario.Los valores de umbral optimos para los cuatro parametros se hanaprendido procesando el corpus de dialogos obtenidos por el sistemade dialogo real en Pittsburgh, y aplicando la estrategia de dialogoincremental a todas las frases largas de usuario, por las cuales estabadisponible tambien una transcripciones hecha por personas reales, yviendo si el sistema deberia haber interrumpido las frases siestuviese utilizando esta estrategia incremental. De esta formahemos podido evaluar cuantos tiempo hubiesemos ahorrado ycuantos slots de las frases de usuario hubiesemos reconocido,aplicando esta estrategia incremental. Por cada conjunto de umbralesse han calculado estos valores y se ha seleccionado el conjunto deumbrales para los paramteros utilizados para medir la estabilidad delos resultados parciales que tenia una mejor proporcion estre tiempoahorrado y porcentaje de slots reconocidos.La estrategia de dialogo incremental definida se ha implementado enun Sistema de Dialogo utilizado en la vida real por las personas de laciudad de Pittsburgh en Pennsylvania, en Estados Unidos, paraobtener la informacion sobre los horarios y los destinos de los busesen toda la ciudad de Pittsburgh. El sistema se ha probado por un mesentero en Octubre 2013 con usuarios reales y los resultados se hancomparado con los dialogos obtenidos en el mes anterior deSeptiembre 2013 utilizando el sistema de dialogo tradicional, sin laestrategia incremental.Los resultados muestran que el uso de una estrategia de dialogoincremental mejora de forma significativa la performance delsistema. La estrategia incremental ayuda a superar problemas con lasfrases largas y no restringidas del usuario, que generalmenteobtienen resultados de reconocimiento muy pobres, con muchoserrores.Ademas influenciamos el comportamiento del usuariointerrumpiendo las frases largas de usuario en cuanto la estrategia dedialogo incremental produce un resultado de reconocimiento valido.El usuario empeza a producir frases mas cortas en los turnossuccessivos a las interrupciones del sistema. Ademas hemoscomprobado, escuchando las registraciones de los dialogos donde elsistema ha interrumpido el usuario, que esta tecnica se acepta debuen grado por parte de los usuarios, que no se molestan despues deuna interrupcion del sistema. Frecuentes interrupciones en losdialogos entre personas reales son normales en un dialogo real,entonces esta mejorada iniciativa del sistema le parece normal a losusuarios reales.