Testu kopuru handiak prozesatzeko big data teknikak
- 1 Euskal Herriko Unibertsitatea/Universidad del País Vasco
- Iñaki Alegría (ed. lit.)
- Ainhoa Latatu (ed. lit.)
- Miren Josu Ormaetxeberria (ed. lit.)
Publisher: Udako Euskal Unibertsitatea, UEU = Universidad Vasca de Verano
ISBN: 978-84-8438-539-4
Year of publication: 2015
Pages: 589-598
Congress: Ikergazte. Nazioarteko Ikerketa Euskaraz (1. 2015. Durango)
Type: Conference paper
Abstract
Eskura dauzkagun datu kopuru erraldoiak prozesatzeko, zaharkituta gelditu dira XXI. mendearenhasieran erabiltzen ziren prozesaketa-teknikak eta algoritmoak. Gaur egun sistema banatuak erabiltzendira, prozesaketa makina batean baino gehiagotan eginez. Gauza berbera gertatzen da hizkuntzarenprozesamenduan ere. Corpusak edo testu-bilduma handiak prozesatzeko, makina bat baino gehiagokoinguruneak beharrezkoak bihurtu dira dagoeneko. Lan honetan, testu-dokumentu kopuru handiak ingurune banatuetan prozesatzeko teknikak aztertuko ditugu. Horretarako, makina birtualetan oinarritutakosistema bat eraiki dugu, Storm konputazio banatuko frameworka erabiliz. Esperimentu batzuk ereaurkeztu ditugu, eta hainbat ezarpenekin lortutako errendimenduaren hobekuntzak.