Installare Hadoop su Ubuntu 10.04

da Nss il maggio 10, 2010

Installiamo curl, software che sarà necessario per portare a termine la procedura:

sudo apt-get install curl

Assicuriamoci di aver abilitato i repository dei partner di ubuntu, nel file /etc/apt/sources.list, decommentando le seguenti righe (basta cancellare il #):

#deb http://archive.canonical.com/ubuntu lucid partner
#deb-srv http://archive.canonical.com/ubuntu lucid partner


Nello stesso file vanno poi aggiunti due ulteriori repository da cui prelevare i pacchetti di hadoop, in fondo al file quindi aggiungiamo:

deb http://archive.cloudera.com/debian karmic-cdh2 contrib
deb-src http://archive.cloudera.com/debian karmic-cdh2 contrib

(per ora la versione per lucid non è ancora disponibile, potete controllare da voi nell’url http://archive.cloudera.com/debian/dists/).

Preleviamo quindi la chiave del repository appena aggiunto:

curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -

basterà quindi ora lanciare i comandi:

sudo apt-get update
sudo apt-get install hadoop-0.20

per avere l’ambiente hadoop correttamente installato.

Installiamo i file di configurazione per lo pseudo-distribuited mode:

sudo apt-get -y install hadoop-0.20-conf-pseudo

lanciamo tutti i servizi di hadoop:

for service in /etc/init.d/hadoop-0.20-*;
do sudo $service start;
done

ed aprendo il browser dovremmo trovare ai seguenti link:
http://localhost:50070/
http://localhost:50030/
rispettivamente la NameNode web console e la JobTracker web console.

Per chiunque volesse lanciare in automatico gli script di cui sopra all’avvio, consiglio l’uso del comando seguente:

for service in /etc/init.d/hadoop-0.20-*;
do sudo ln -s $service /etc/rc2.d/$(basename $service);
done

che non farà altro che creare dei link simbolici degli script di avvio all’interno della directory corrispondente al runlevel 2.

Lascia un commento

Required.

Required. Not published.

If you have one.