Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve
- Mayor Martinez, Aingeru
- Alegría Loinaz, Iñaki
- Díaz de Ilarraza Sánchez, Arantza
- Labaka Intxauspe, Gorka
- Lersundi Ayestaran, Mikel
- Sarasola Gabiola, Kepa
ISSN: 1135-5948
Año de publicación: 2009
Número: 43
Páginas: 197-205
Tipo: Artículo
Otras publicaciones en: Procesamiento del lenguaje natural
Resumen
Matxin es un sistema de traducción automática basado en reglas que traduce a euskera. Para su evaluación hemos usado la métrica HTER que calcula el coste de postedición, concluyendo que un editor necesitaría cambiar 4 de cada 10 palabras para corregir la salida del sistema. La calidad de las traducciones del sistema Matxin ha podido ser comparada con las de un sistema basado en corpus, obteniendo el segundo unos resultados significativamente peores. Debido al uso generalizado de BLEU, hemos querido estudiar los resultados BLEU conseguidos por ambos sistemas, constatando que esta métrica no es efectiva ni para medir la calidad absoluta de un sistema, ni para comparar sistemas que usan estrategias diferentes.