Testu kopuru handiak prozesatzeko big data teknikak

  1. Z. Beloki 1
  2. X. Artola 1
  3. A. Soroa 1
  1. 1 Euskal Herriko Unibertsitatea/Universidad del País Vasco
Libro:
I. IkergazteNazioarteko ikerketa euskaraz. Kongresuko artikulu-bilduma: 2015eko maiatzaren 13, 14 eta 15a. Durango, Euskal Herria
  1. Iñaki Alegría (ed. lit.)
  2. Ainhoa Latatu (ed. lit.)
  3. Miren Josu Ormaetxeberria (ed. lit.)

Editorial: Udako Euskal Unibertsitatea, UEU = Universidad Vasca de Verano

ISBN: 978-84-8438-539-4

Año de publicación: 2015

Páginas: 589-598

Congreso: Ikergazte. Nazioarteko Ikerketa Euskaraz (1. 2015. Durango)

Tipo: Aportación congreso

Resumen

Eskura dauzkagun datu kopuru erraldoiak prozesatzeko, zaharkituta gelditu dira XXI. mendearenhasieran erabiltzen ziren prozesaketa-teknikak eta algoritmoak. Gaur egun sistema banatuak erabiltzendira, prozesaketa makina batean baino gehiagotan eginez. Gauza berbera gertatzen da hizkuntzarenprozesamenduan ere. Corpusak edo testu-bilduma handiak prozesatzeko, makina bat baino gehiagokoinguruneak beharrezkoak bihurtu dira dagoeneko. Lan honetan, testu-dokumentu kopuru handiak ingurune banatuetan prozesatzeko teknikak aztertuko ditugu. Horretarako, makina birtualetan oinarritutakosistema bat eraiki dugu, Storm konputazio banatuko frameworka erabiliz. Esperimentu batzuk ereaurkeztu ditugu, eta hainbat ezarpenekin lortutako errendimenduaren hobekuntzak.