Pagina 4 di 14
Re: epg sly morta
Inviato: 19 gen 2008, 13:53
da Exc3ss
facciamo un'attimo di chiarezza, madmatt hai generato tu quel file che hai linkato qui sopra? se si con cosa?
Re: epg sly morta
Inviato: 19 gen 2008, 17:57
da madmatt
Ho creato un plugin skyit per epgdownloader, che scarica i file della guida canali dal sito di sky in formato xml, e poi li salva in formato vdr e xmltv.
Il plugin tenta di essere 'gentile' con il sito sky nel senso che ogni file scaricato viene salvato localmente in una cache, per non 'sovraccaricare' inutilmente il sito e causare premature chiusure al pubblico.
Ci sono un paio di angoli grezzi su cui lavorare, il primo e' che la lista canali e' incompleta, il secondo e' che il plugin di export verso vdr si schianta se il nome canale di sky non corrisponde alla lettera tra i due plugin, il terzo e' che ho usato un channels.conf out of date e quindi il file che ho postato e' incompleto, il quarto e' che il meccanismo di caching e' a dir poco rozzo e devo lavorarci un po' su.
Comunque, spero di riuscire entro domani a produrre una patch per epgdownloader, in modo tale da condividere il tutto , e magari lasciare la correzione di alcuni angoli grezzi ad altri.
Oggi sono andato a sciare ... quindi adesso cerco di capire dove ho sbagliato la logica delle date (al momento ho solo piu' cinque giorni invece di sette) e poi posto un nuovo file con tutta la settimana e alcuni canali in piu' ... domani cerco di produrre una patch
Nel frattempo, se volete provare il file e segnalarmi i canali mancanti provvedero' alla correzione ...
Buona visione
Re: epg sly morta
Inviato: 19 gen 2008, 18:13
da Exc3ss
madmatt ha scritto:Ho creato un plugin skyit per epgdownloader, che scarica i file della guida canali dal sito di sky in formato xml, e poi li salva in formato vdr e xmltv.
Il plugin tenta di essere 'gentile' con il sito sky nel senso che ogni file scaricato viene salvato localmente in una cache, per non 'sovraccaricare' inutilmente il sito e causare premature chiusure al pubblico.
Ci sono un paio di angoli grezzi su cui lavorare, il primo e' che la lista canali e' incompleta, il secondo e' che il plugin di export verso vdr si schianta se il nome canale di sky non corrisponde alla lettera tra i due plugin, il terzo e' che ho usato un channels.conf out of date e quindi il file che ho postato e' incompleto, il quarto e' che il meccanismo di caching e' a dir poco rozzo e devo lavorarci un po' su.
Comunque, spero di riuscire entro domani a produrre una patch per epgdownloader, in modo tale da condividere il tutto , e magari lasciare la correzione di alcuni angoli grezzi ad altri.
Oggi sono andato a sciare ... quindi adesso cerco di capire dove ho sbagliato la logica delle date (al momento ho solo piu' cinque giorni invece di sette) e poi posto un nuovo file con tutta la settimana e alcuni canali in piu' ... domani cerco di produrre una patch
Nel frattempo, se volete provare il file e segnalarmi i canali mancanti provvedero' alla correzione ...
Buona visione
sarebbe bello di poter fare il file epg.data zippato e di pubblicarlo su un determinato hosting, io posso mettere a disposizione il mio che è
http://www.incasiniamo.it, che sta su tophost ed è regolarmente pagato, anzichè scaricare tutti con il plugin dal sito sky che sicuramente faremo un traffico eccessivo, poi zippando il file epg.data ho visto che da qualche mb diventa 200k e quindi si ottimizza parecchio
Re: epg sly morta
Inviato: 19 gen 2008, 18:14
da madmatt
http://www.mrossi.org/epg/epg-20080119.zip
@Ragno: Al momento lo zip e l'upload sono manuali, una volta affinato il tutto non ho problemi a mettere il tutto in crontab ... non ho un pc sempre acceso che lo possa fare, al momento quindi il meccanismo non potrebbe essere completamente automatizzato ....
per adesso mettiamo a posto la lista canali, poi vediamo come fare per automatizzare il tutto ...
... avevo fatto casino con la cache .. naturalmente, ora c'e' l'epg dal 19 al 25
Buona visione
Re: epg sly morta
Inviato: 19 gen 2008, 18:36
da madmatt
http://www.mrossi.org/epg/epgdownloader ... .patch.bz2
ATTENZIONE!!!
Se non ne capite di perl per favore aspettate a scaricare/patchare e lanciare ... a meno di non avere un po' di voglia di leggere codice ...
La dir plugins/skyit/ contiene anche i file channels.conf, channels.xml e config.xml da me usati per lanciare epgdownloader.
Il file plugins/skyit/skyit.pm DEVE essere aperto in un editor e bisogna cambiare la linea
Codice: Seleziona tutto
$self->{'cachedir'} = '/usr/local/share/skyepg/static/epg/timeline/export/';
con
Codice: Seleziona tutto
$self->{'cachedir'} = 'diresistentesulvostropcescrivibiledalloscript;
il file config.xml DEVE essere editato e gli appositi path corretti per funzionare sul vostro disco
Buon smanettamento, e fatemi avere le correzioni a channels.xml e channels.conf (sia i nomi dei canali che i parametri corretti, il file che ho usato e' vecchietto ...)
Re: epg sly morta
Inviato: 19 gen 2008, 18:41
da madmatt
a riporoposito .. le prestazioni sono buone, con file gia' in cache locale la conversione avviene in <30 secondi, con un giorno di file da scaricare ... dipende dalla connessione, da me impiega meno di due minuti, con sette giorni .. non ho provato ...
se lo script si blocca mentre scrive l'epg, e' colpa del channels.conf disallineato con channels.xml, la cpu va a 100% e bisogna ucciderlo con CTRL-C
Se qualcuno che ne capisce di espressioni regolari piu' di me e ha voglia, la riga che causa il problema e' in plugins/vdr/vdr.pm, sub getChannelString:
Codice: Seleziona tutto
if($content =~ s/(.*?)^($channel)(.*?)\n(.*)/$2$3/smi)
ed e' la riga che, dato il nome canale in $channel, creca di trovare la riga corrispondente in $content (channels.conf) per poter estrarre SID-NID-TID ...
Re: epg sly morta
Inviato: 19 gen 2008, 18:46
da madmatt
Exc3ss ha scritto:
sarebbe bello di poter fare il file epg.data zippato e di pubblicarlo su un determinato hosting, io posso mettere a disposizione il mio che è
http://www.incasiniamo.it, che sta su tophost ed è regolarmente pagato, anzichè scaricare tutti con il plugin dal sito sky che sicuramente faremo un traffico eccessivo, poi zippando il file epg.data ho visto che da qualche mb diventa 200k e quindi si ottimizza parecchio
l'upload non e' un problema, io al momento non ho una macchina sempre accesa per poter lanciare lo script di generazione con regolarita' ... a me lo zip viene di 800k, e dovrebbe aumentare ancora di un po' quando la lista canali sara' aggiornata ...
Re: epg sly morta
Inviato: 19 gen 2008, 20:01
da ragno
@madmatt: se il pluggo funziona, il discorso dell'upload della lista precotta vale solo per evitare troppi ciucciamenti dal sito di sky.
Possiamo scegliere se prendere tutti oppure prendere uno solo e poi distribuire sperando che non si rompano troppo le OO...
Nel caso dell'upload in uno spazio diverso dal tuo, preferirei un sito
istituzionale e riconducibile a pieno titolo alla comunita' di vdr.
Naturalmente tutto
IHMO
ciao
p.s. ma che stai a fa...pensi a vdr quando puoi andare a sciare...
Re: epg sly morta
Inviato: 20 gen 2008, 14:17
da madmatt
http://www.mrossi.org/epg/epg.data
Per il momento, cerchero' di tenerlo il piu' aggiornato possibile ....
Ciao
Re: epg sly morta
Inviato: 21 gen 2008, 20:52
da maidiremaik
grazie madmatt , ho provato il file e devo dirlo forte ad ALTA VOCE!!!!
FUNZIONAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
procedimento stoppare vdr
poi cancellare il vecchio epg.data , riuppare quello di madmatt e permessarlo 777
poi riavviare vdr e tutto va!
GRAZIE ANCORA INFINITE , spero tu lo tenga aggiornato , anzi spero vivamente in uno sticky
Re: epg sly morta
Inviato: 22 gen 2008, 09:00
da ragno
Configurazione e script per loadepg:
madepg.sh
Codice: Seleziona tutto
#!/bin/sh
URL="http://www.mrossi.org/epg/epg.data"
FILE="/tmp/epg.data"
wget $URL -O $FILE
Aggiungere la seguente riga in
loadepg.conf
N.B.
occhio ai propri path... 
Segnalazione per Mad:
L'epg rai viene scaricato, ma sono errate le sorgenti dei canali:
In channels.conf abbiamo:
Codice: Seleziona tutto
RAI1;RAI:11766:vC23:S13.0E:27500:512:650=ita:576:0:3401:318:5200:0
Nell'epg invece:
ciao e grazie...
ragno
Re: epg sly morta
Inviato: 22 gen 2008, 11:16
da fusibile73
Seguo con molto interesse questo tred.
Ho preferito anche io prendere l'epg.data dal sito di madmatt per non sovraccaricare di richieste il sito del cangurozzo.
A proposito: complimenti per il lavoro a lui e a tutti gli altri.
Seguendo la scia di maidiremaik, ho automatizzato la procedura.
Io ho messo la riga:
Aggiorna l'EPG Sky da file : at now -f /etc/vdr/scripts/commands/madmatt.sh
in commands.conf che richiama il seguente script madmatt.sh:
#!/bin/bash
cd /tmp/
rm -f /video/epg.data
wget
http://www.mrossi.org/epg/epg.data
cp /tmp/epg.data /video/epg.data
chmod 777 /video/epg.data
exit
Funziona.
NB: Ricordarsi di dare chmod 777 a madmatt.sh
Re: epg sly morta
Inviato: 22 gen 2008, 12:26
da lukkino
@fusibile73
Però in questo modo devi riavviare vdr, con il plugin loadepg non serve
Ciauz
Re: epg sly morta
Inviato: 22 gen 2008, 13:15
da fusibile73
Ho integrato anche madepg.sh nel pluggo loadepg...... come descritto da ragno poco sopra.
Il risultato a video (in VDR )è
"nessun epg di dati disponibile"
Per ora mi stà bene riavviare. Per quello che mi costa....
Re: epg sly morta
Inviato: 22 gen 2008, 19:45
da madmatt
Nuova epg up, con Rai a posto (credo)
Ho dovuto cambiare la logica della cache, il sito di SKY (causa programmini un po' meno gentili del nostro) rallenta (e poi blocca) get multipli di URL.
Per fortuna che c'e' San Wget, che riusa la stessa connessione invece di aprirne una nuova per ogni file, altrimenti saremmo gia' a tempi di download dell'epg dell'ordine delle ore ....