epg sly morta

[Exc3ss]

facciamo un'attimo di chiarezza, madmatt hai generato tu quel file che hai linkato qui sopra? se si con cosa?

[madmatt]

Ho creato un plugin skyit per epgdownloader, che scarica i file della guida canali dal sito di sky in formato xml, e poi li salva in formato vdr e xmltv.

Il plugin tenta di essere 'gentile' con il sito sky nel senso che ogni file scaricato viene salvato localmente in una cache, per non 'sovraccaricare' inutilmente il sito e causare premature chiusure al pubblico.

Ci sono un paio di angoli grezzi su cui lavorare, il primo e' che la lista canali e' incompleta, il secondo e' che il plugin di export verso vdr si schianta se il nome canale di sky non corrisponde alla lettera tra i due plugin, il terzo e' che ho usato un channels.conf out of date e quindi il file che ho postato e' incompleto, il quarto e' che il meccanismo di caching e' a dir poco rozzo e devo lavorarci un po' su.

Comunque, spero di riuscire entro domani a produrre una patch per epgdownloader, in modo tale da condividere il tutto , e magari lasciare la correzione di alcuni angoli grezzi ad altri.

Oggi sono andato a sciare ... quindi adesso cerco di capire dove ho sbagliato la logica delle date (al momento ho solo piu' cinque giorni invece di sette) e poi posto un nuovo file con tutta la settimana e alcuni canali in piu' ... domani cerco di produrre una patch

Nel frattempo, se volete provare il file e segnalarmi i canali mancanti provvedero' alla correzione ...

Buona visione

[Exc3ss]

Ho creato un plugin skyit per epgdownloader, che scarica i file della guida canali dal sito di sky in formato xml, e poi li salva in formato vdr e xmltv.

Il plugin tenta di essere 'gentile' con il sito sky nel senso che ogni file scaricato viene salvato localmente in una cache, per non 'sovraccaricare' inutilmente il sito e causare premature chiusure al pubblico.

Ci sono un paio di angoli grezzi su cui lavorare, il primo e' che la lista canali e' incompleta, il secondo e' che il plugin di export verso vdr si schianta se il nome canale di sky non corrisponde alla lettera tra i due plugin, il terzo e' che ho usato un channels.conf out of date e quindi il file che ho postato e' incompleto, il quarto e' che il meccanismo di caching e' a dir poco rozzo e devo lavorarci un po' su.

Comunque, spero di riuscire entro domani a produrre una patch per epgdownloader, in modo tale da condividere il tutto , e magari lasciare la correzione di alcuni angoli grezzi ad altri.

Oggi sono andato a sciare ... quindi adesso cerco di capire dove ho sbagliato la logica delle date (al momento ho solo piu' cinque giorni invece di sette) e poi posto un nuovo file con tutta la settimana e alcuni canali in piu' ... domani cerco di produrre una patch

Nel frattempo, se volete provare il file e segnalarmi i canali mancanti provvedero' alla correzione ...

Buona visione

sarebbe bello di poter fare il file epg.data zippato e di pubblicarlo su un determinato hosting, io posso mettere a disposizione il mio che è http://www.incasiniamo.it, che sta su tophost ed è regolarmente pagato, anzichè scaricare tutti con il plugin dal sito sky che sicuramente faremo un traffico eccessivo, poi zippando il file epg.data ho visto che da qualche mb diventa 200k e quindi si ottimizza parecchio

[madmatt]

http://www.mrossi.org/epg/epg-20080119.zip

@Ragno: Al momento lo zip e l'upload sono manuali, una volta affinato il tutto non ho problemi a mettere il tutto in crontab ... non ho un pc sempre acceso che lo possa fare, al momento quindi il meccanismo non potrebbe essere completamente automatizzato ....
per adesso mettiamo a posto la lista canali, poi vediamo come fare per automatizzare il tutto ...

... avevo fatto casino con la cache .. naturalmente, ora c'e' l'epg dal 19 al 25

Buona visione

[madmatt]

http://www.mrossi.org/epg/epgdownloader ... .patch.bz2


ATTENZIONE!!!

Se non ne capite di perl per favore aspettate a scaricare/patchare e lanciare ... a meno di non avere un po' di voglia di leggere codice ...

La dir plugins/skyit/ contiene anche i file channels.conf, channels.xml e config.xml da me usati per lanciare epgdownloader.
Il file plugins/skyit/skyit.pm DEVE essere aperto in un editor e bisogna cambiare la linea

Codice: Seleziona tutto

$self->{'cachedir'} = '/usr/local/share/skyepg/static/epg/timeline/export/';

con

Codice: Seleziona tutto

$self->{'cachedir'} = 'diresistentesulvostropcescrivibiledalloscript;

il file config.xml DEVE essere editato e gli appositi path corretti per funzionare sul vostro disco

Buon smanettamento, e fatemi avere le correzioni a channels.xml e channels.conf (sia i nomi dei canali che i parametri corretti, il file che ho usato e' vecchietto ...)

[madmatt]

a riporoposito .. le prestazioni sono buone, con file gia' in cache locale la conversione avviene in <30 secondi, con un giorno di file da scaricare ... dipende dalla connessione, da me impiega meno di due minuti, con sette giorni .. non ho provato ...

se lo script si blocca mentre scrive l'epg, e' colpa del channels.conf disallineato con channels.xml, la cpu va a 100% e bisogna ucciderlo con CTRL-C
Se qualcuno che ne capisce di espressioni regolari piu' di me e ha voglia, la riga che causa il problema e' in plugins/vdr/vdr.pm, sub getChannelString:

Codice: Seleziona tutto

if($content =~ s/(.*?)^($channel)(.*?)\n(.*)/$2$3/smi)

ed e' la riga che, dato il nome canale in $channel, creca di trovare la riga corrispondente in $content (channels.conf) per poter estrarre SID-NID-TID ...

[madmatt]

sarebbe bello di poter fare il file epg.data zippato e di pubblicarlo su un determinato hosting, io posso mettere a disposizione il mio che è http://www.incasiniamo.it, che sta su tophost ed è regolarmente pagato, anzichè scaricare tutti con il plugin dal sito sky che sicuramente faremo un traffico eccessivo, poi zippando il file epg.data ho visto che da qualche mb diventa 200k e quindi si ottimizza parecchio

l'upload non e' un problema, io al momento non ho una macchina sempre accesa per poter lanciare lo script di generazione con regolarita' ... a me lo zip viene di 800k, e dovrebbe aumentare ancora di un po' quando la lista canali sara' aggiornata ...

[ragno]

@madmatt: se il pluggo funziona, il discorso dell'upload della lista precotta vale solo per evitare troppi ciucciamenti dal sito di sky.

Possiamo scegliere se prendere tutti oppure prendere uno solo e poi distribuire sperando che non si rompano troppo le OO...

Nel caso dell'upload in uno spazio diverso dal tuo, preferirei un sito istituzionale e riconducibile a pieno titolo alla comunita' di vdr.

Naturalmente tutto IHMO

ciao

p.s. ma che stai a fa...pensi a vdr quando puoi andare a sciare...

[madmatt]

http://www.mrossi.org/epg/epg.data

Per il momento, cerchero' di tenerlo il piu' aggiornato possibile ....

Ciao

[maidiremaik]

http://www.mrossi.org/epg/epg.data

Per il momento, cerchero' di tenerlo il piu' aggiornato possibile ....

Ciao

grazie madmatt , ho provato il file e devo dirlo forte ad ALTA VOCE!!!!
FUNZIONAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
procedimento stoppare vdr
poi cancellare il vecchio epg.data , riuppare quello di madmatt e permessarlo 777
poi riavviare vdr e tutto va!
GRAZIE ANCORA INFINITE , spero tu lo tenga aggiornato , anzi spero vivamente in uno sticky

[ragno]

Configurazione e script per loadepg:

madepg.sh

Codice: Seleziona tutto

#!/bin/sh

URL="http://www.mrossi.org/epg/epg.data"
FILE="/tmp/epg.data"

wget $URL -O $FILE

Aggiungere la seguente riga in loadepg.conf

Codice: Seleziona tutto

SCRIPT=MAD EPG:/etc/vdr/madepg.sh:/tmp/epg.data

N.B. occhio ai propri path...

Segnalazione per Mad:

L'epg rai viene scaricato, ma sono errate le sorgenti dei canali:

In channels.conf abbiamo:

Codice: Seleziona tutto

RAI1;RAI:11766:vC23:S13.0E:27500:512:650=ita:576:0:3401:318:5200:0

Nell'epg invece:

Codice: Seleziona tutto

C S13E-318-12400-8511 Rai Uno;SkyItalia

ciao e grazie...
ragno

[fusibile73]

Seguo con molto interesse questo tred.

Ho preferito anche io prendere l'epg.data dal sito di madmatt per non sovraccaricare di richieste il sito del cangurozzo.
A proposito: complimenti per il lavoro a lui e a tutti gli altri.

Seguendo la scia di maidiremaik, ho automatizzato la procedura.
Io ho messo la riga:
Aggiorna l'EPG Sky da file : at now -f /etc/vdr/scripts/commands/madmatt.sh

in commands.conf che richiama il seguente script madmatt.sh:

#!/bin/bash
cd /tmp/
rm -f /video/epg.data
wget http://www.mrossi.org/epg/epg.data
cp /tmp/epg.data /video/epg.data
chmod 777 /video/epg.data
exit

Funziona.

NB: Ricordarsi di dare chmod 777 a madmatt.sh

[lukkino]

@fusibile73

Però in questo modo devi riavviare vdr, con il plugin loadepg non serve

Ciauz

[fusibile73]

Ho integrato anche madepg.sh nel pluggo loadepg...... come descritto da ragno poco sopra.

Il risultato a video (in VDR )è

"nessun epg di dati disponibile"

Per ora mi stà bene riavviare. Per quello che mi costa....

[madmatt]

Nuova epg up, con Rai a posto (credo)

Ho dovuto cambiare la logica della cache, il sito di SKY (causa programmini un po' meno gentili del nostro) rallenta (e poi blocca) get multipli di URL.
Per fortuna che c'e' San Wget, che riusa la stessa connessione invece di aprirne una nuova per ogni file, altrimenti saremmo gia' a tempi di download dell'epg dell'ordine delle ore ....