compile cluster

[bluesman]

visto l'interesse di zulu per l'argomento, traduco pari pari il post di whoisthomas,da vdrportal:


Probabilmente molti di voi,come me,smanettano spesso con VDR.

e probabilmente molti di voi avranno calcolatori (e qui cito alez)barbon style

quindi sicuramente conoscete il problema della durata delle procedure make,soprattutto nei casi in cui viene sostitutito il kernel.

percio sarete forse interessati alla seguente soluzione:
creare un Compile-Clusters con ICECREAM


di cosa abbiamo bisogno ?
innanzitutto per creare un cluster servono piu calcolatori linux.
chi come me non disdegna lavorare con windows,puo creare un server linux con VMWare.

ecco come ho proceduto:

1. scaricare VMWare da questo link e installarlo

2. su VM(virtual machine) una installazione minimale linux(niente desktop,niente X.etc.)
io ho configurato la rete come "default bridged".

3. su tutti gli altri computer(possono essercene diversi,sia fisici che VM)installare ICECREAM.
ecco la procedura su Gentoo:

a) autorizzare emerge per i Package di ICECREAM

Codice: Seleziona tutto

echo  "sys-devel / icecream ~x86 >> /etc /portage /package.keywordsw" 

b) installare ICECREAM

Codice: Seleziona tutto

echo "emerge -av sys-devel/ icecream"

c) configurare etc /make.conf
settare il numero die processori presenti nel cluster +1 (=N)

Codice: Seleziona tutto

echo "MAKEOPTS=-jN"

il portage deve usare ICECREAM

Codice: Seleziona tutto

echo "PREROOTPATH=/usr /lib /icecc /bin"

d) configurare etc /profile
make deve usare ICECREAM

Codice: Seleziona tutto

echo "PATH=/usr /lib /icecc /bin:${PATH}"

e) configurare etc /conf.d/icecream sul Server (puo esserci solo un server!!):

Codice: Seleziona tutto

echo "ICECREAM_RUN_SCHEDULER=yes"

su tutti i Clients:

Codice: Seleziona tutto

echo "ICECREAM_RUN_SCHEDULER=no"

settare il numero die processori presenti nel cluster +1 (=N), vedi sopra

Codice: Seleziona tutto

echo "ICECREAM_MAX_JOBS=N" 

ho dovuto settare manualmene l'IP del server ICECREAM perché non funzionava:

Codice: Seleziona tutto

echo "ICECREAM_SCHEDULER_HOST=192.168.1.99"

4. adesso lanciare ICECREAM incluso VDR su tutti i computer

Codice: Seleziona tutto

echo "/etc /init.d /icecream start"

configurare ICECREAM in modo che parta al boot

Codice: Seleziona tutto

echo "rc-update add icecream default"

5.lanciare make oppure emerge per rendersi conto di quanto possa essere veloce!
un kernel make dura,da me,il 25% del tempo impiegato prima,perche la maggior parte del lavoro é stata
svolta dal mio Desktop DualCore(tramite VM).
Il bello di ICECREAM é che (a differenza di distcc) divide il carico di lavoro in maniera dinamica,
cioé i computer piu potenti avrannno una mole maggiore di Compile-Jobs da svolgere.



sono quasi diventato scemo con la funzione "code",spero di non aver sbagliato nulla...in ogni caso ecco il linkriginale per eventuali confronti
spero di aver fatto cosa gradita

[alez]

Grazie per la traduzione bluesman

Eh si, anche su VMware linux viaggia parecchio, per cui in compilazione va molto bene
Tra l'altro la versione Server (gratis) permette di creare macchine virtuali fino a 2 processori e sfruttare meglio il Dual Core (e' cosi' anche su Winzoz? E' una marea di tempo che non installo VMware su winzoz...)

[ragno]

Ottimo post!
Grazie per le info.

saluti
ragno

[zulu]

Mitico bluesman!

grazie.


saluti

zulu