On the study of crowdsourced labelled data and annotatorsbeyond noisy labels

  1. BEÑARAN MUÑOZ, IKER
Supervised by:
  1. Jerónimo Hernández González Director
  2. Aritz Pérez Martínez Director
  3. José Antonio Lozano Alonso Tutor

Defence university: Universidad del País Vasco - Euskal Herriko Unibertsitatea

Fecha de defensa: 12 May 2023

Department:
  1. Ciencia de la Computación e Inteligencia Artificial

Type: Thesis

Teseo: 809515 DIALNET lock_openADDI editor

Abstract

La presente tesis incluye 3 contribuciones al área llamada "learning from crowds", que estudia losmétodos de aprendizaje basados en datos etiquetados por medio del "crowdsourcing". Estas etiquetas secaracterizan por tener una incertidumbre asociada debido a que la fiabilidad de las personas anotadorasno está garantizada. En primer lugar, se propone un nuevo método de "label aggregation", llamado"domain aware voting", una extensión del popular y simple método "majority voting" que tiene en cuentala variable descriptiva, obteniendo resultados mejores especialmente cuando hay una mayor escasez deetiquetas. La segunda contribución consiste en la propuesta de un nuevo marco de etiquetado, "candidatelabelling", que permite a las personas anotadoras expresar sus dudas acerca de las etiquetas que otorgan,pudiendo otorgar varias etiquetas a cada instancia. Se proponen 2 métodos de "label aggregation"asociados a este tipo de etiquetado, y se muestra, mediante un marco experimental que auna el etiquetadotradicional y el propuesto, que el "candidate labelling" consigue extraer más información con un mismonúmero de personas anotadoras. Por último, se desarrolla un modelo de persona anotadora y 2 métodosde aprendizaje adaptados a este nuevo etiquetado, basados en el algoritmo EM, que obtienen mejoresresultados en general que los métodos análogos en el marco de etiquetado tradicional.