compile cluster
Inviato: 23 ott 2008, 15:46
visto l'interesse di zulu per l'argomento, traduco pari pari il post di whoisthomas,da vdrportal:
Probabilmente molti di voi,come me,smanettano spesso con VDR.
e probabilmente molti di voi avranno calcolatori (e qui cito alez)barbon style
quindi sicuramente conoscete il problema della durata delle procedure make,soprattutto nei casi in cui viene sostitutito il kernel.
percio sarete forse interessati alla seguente soluzione:
creare un Compile-Clusters con ICECREAM
di cosa abbiamo bisogno ?
innanzitutto per creare un cluster servono piu calcolatori linux.
chi come me non disdegna lavorare con windows,puo creare un server linux con VMWare.
ecco come ho proceduto:
1. scaricare VMWare da questo link e installarlo
2. su VM(virtual machine) una installazione minimale linux(niente desktop,niente X.etc.)
io ho configurato la rete come "default bridged".
3. su tutti gli altri computer(possono essercene diversi,sia fisici che VM)installare ICECREAM.
ecco la procedura su Gentoo:
a) autorizzare emerge per i Package di ICECREAM
b) installare ICECREAM
c) configurare etc /make.conf
settare il numero die processori presenti nel cluster +1 (=N)
il portage deve usare ICECREAM
d) configurare etc /profile
make deve usare ICECREAM
e) configurare etc /conf.d/icecream sul Server (puo esserci solo un server!!):
su tutti i Clients:
settare il numero die processori presenti nel cluster +1 (=N), vedi sopra
ho dovuto settare manualmene l'IP del server ICECREAM perché non funzionava:
4. adesso lanciare ICECREAM incluso VDR su tutti i computer
configurare ICECREAM in modo che parta al boot
5.lanciare make oppure emerge per rendersi conto di quanto possa essere veloce!
un kernel make dura,da me,il 25% del tempo impiegato prima,perche la maggior parte del lavoro é stata
svolta dal mio Desktop DualCore(tramite VM).
Il bello di ICECREAM é che (a differenza di distcc) divide il carico di lavoro in maniera dinamica,
cioé i computer piu potenti avrannno una mole maggiore di Compile-Jobs da svolgere.
sono quasi diventato scemo con la funzione "code",spero di non aver sbagliato nulla...in ogni caso ecco il linkriginale per eventuali confronti
spero di aver fatto cosa gradita
Probabilmente molti di voi,come me,smanettano spesso con VDR.
e probabilmente molti di voi avranno calcolatori (e qui cito alez)barbon style

quindi sicuramente conoscete il problema della durata delle procedure make,soprattutto nei casi in cui viene sostitutito il kernel.
percio sarete forse interessati alla seguente soluzione:
creare un Compile-Clusters con ICECREAM
di cosa abbiamo bisogno ?
innanzitutto per creare un cluster servono piu calcolatori linux.
chi come me non disdegna lavorare con windows,puo creare un server linux con VMWare.
ecco come ho proceduto:
1. scaricare VMWare da questo link e installarlo
2. su VM(virtual machine) una installazione minimale linux(niente desktop,niente X.etc.)
io ho configurato la rete come "default bridged".
3. su tutti gli altri computer(possono essercene diversi,sia fisici che VM)installare ICECREAM.
ecco la procedura su Gentoo:
a) autorizzare emerge per i Package di ICECREAM
Codice: Seleziona tutto
echo "sys-devel / icecream ~x86 >> /etc /portage /package.keywordsw"
Codice: Seleziona tutto
echo "emerge -av sys-devel/ icecream"
settare il numero die processori presenti nel cluster +1 (=N)
Codice: Seleziona tutto
echo "MAKEOPTS=-jN"
Codice: Seleziona tutto
echo "PREROOTPATH=/usr /lib /icecc /bin"
d) configurare etc /profile
make deve usare ICECREAM
Codice: Seleziona tutto
echo "PATH=/usr /lib /icecc /bin:${PATH}"
Codice: Seleziona tutto
echo "ICECREAM_RUN_SCHEDULER=yes"
Codice: Seleziona tutto
echo "ICECREAM_RUN_SCHEDULER=no"
Codice: Seleziona tutto
echo "ICECREAM_MAX_JOBS=N"
Codice: Seleziona tutto
echo "ICECREAM_SCHEDULER_HOST=192.168.1.99"
4. adesso lanciare ICECREAM incluso VDR su tutti i computer
Codice: Seleziona tutto
echo "/etc /init.d /icecream start"
configurare ICECREAM in modo che parta al boot
Codice: Seleziona tutto
echo "rc-update add icecream default"
5.lanciare make oppure emerge per rendersi conto di quanto possa essere veloce!
un kernel make dura,da me,il 25% del tempo impiegato prima,perche la maggior parte del lavoro é stata
svolta dal mio Desktop DualCore(tramite VM).
Il bello di ICECREAM é che (a differenza di distcc) divide il carico di lavoro in maniera dinamica,
cioé i computer piu potenti avrannno una mole maggiore di Compile-Jobs da svolgere.
sono quasi diventato scemo con la funzione "code",spero di non aver sbagliato nulla...in ogni caso ecco il linkriginale per eventuali confronti

spero di aver fatto cosa gradita
