On the study of crowdsourced labelled data and annotatorsbeyond noisy labels

Resumen

La presente tesis incluye 3 contribuciones al área llamada "learning from crowds", que estudia losmétodos de aprendizaje basados en datos etiquetados por medio del "crowdsourcing". Estas etiquetas secaracterizan por tener una incertidumbre asociada debido a que la fiabilidad de las personas anotadorasno está garantizada. En primer lugar, se propone un nuevo método de "label aggregation", llamado"domain aware voting", una extensión del popular y simple método "majority voting" que tiene en cuentala variable descriptiva, obteniendo resultados mejores especialmente cuando hay una mayor escasez deetiquetas. La segunda contribución consiste en la propuesta de un nuevo marco de etiquetado, "candidatelabelling", que permite a las personas anotadoras expresar sus dudas acerca de las etiquetas que otorgan,pudiendo otorgar varias etiquetas a cada instancia. Se proponen 2 métodos de "label aggregation"asociados a este tipo de etiquetado, y se muestra, mediante un marco experimental que auna el etiquetadotradicional y el propuesto, que el "candidate labelling" consigue extraer más información con un mismonúmero de personas anotadoras. Por último, se desarrolla un modelo de persona anotadora y 2 métodosde aprendizaje adaptados a este nuevo etiquetado, basados en el algoritmo EM, que obtienen mejoresresultados en general que los métodos análogos en el marco de etiquetado tradicional.