Contributions to human action recognition using Deep LearningApplications in egocentric vision

Resumen

Gracias al crecimiento exponencial en el uso de las Tecnologías de la Información y la Comunicación, las casas inteligentes que proveen de servicios a sus ocupantes se han vuelto una realidad. Entre esos servicios, aquellos que buscan asegurar la salud de las personas se encuentran dentro de los entornos asistenciales inteligentes, en los cuales se incluye esta tesis doctoral. De hecho, la monitorización de las personas en sus actividades del día a día puede ayudar a predecir problemas de salud mental tales como la demencia, así que este tipo de aplicaciones se ha vuelto cada vez más importante. Para ello, los sistemas de reconocimiento de acciones, es decir, sistemas capaces de analizar la ejecución de acciones y actividades, son cruciales para poder detectar de antemano casos atípicos que pueden ser dados por un declive cognitivo. En ese sentido, es esencial asegurar que los sistemas de reconocimiento de acciones son capaces de ofrecer la información de más calidad. Por esta razón, la comunidad de Visión por Computador ha realizado un gran esfuerzo por mejorar en la tarea del reconocimento de acciones humanas. De hecho, es notable la reciente contribución del reconocimiento de acciones egocéntricas hacia la predicción de acciones usando dispositivos vestibles. En esta línea de investigación, esta tesis doctoral propone contribuir con un método para introducir conocimiento externo para sesgar las predicciones de los sistemas de reconocimiento de acciones hacia su frecuencia del mundo real en el marco del aprendizaje basado encero muestras. Los sistemas de reconocimiento de acciones normalmente emiten predicciones de acciones con una cierta confianza, dada únicamente por el dato de entrada que ven. Sin embargo, esto ignora la frecuencia con la cual esas ocurren en nuestras vidas cotidianas, y es por ello que introducir una distribución de probabilidades a priori con este conocimiento es importante. Las acciones realizadas con mayor frecuencia deberían tener más importancia que aquellas que son raras, equilibrando la distribución. Con este enfoque, el movimiento y los objetos pueden ser aprendidos de forma separada por un sistema de reconocimiento de acciones y cualquier combinación de ambos conjuntos puede ser predicha como resultado, ofreciendo un abanico de posibilidades más amplio y necesitando menos anotaciones. Los experimentos llevados a cabo para el reconocimiento de acciones con clases nunca antes vistas muestran resultados prometedores cuando las distribuciones de probabilidades a priori se ajustan mejor a las distribuciones de acciones reales.