consigli per server-vdr con molte dvb-t

Cosa serve o si può utilizzare per il nostro VDR
Schede DVB, DVT, DVBS2 etc.
Case, schede madri, processori etc.
Autocostruzioni, progetti etc.

Moderatori: ragno, tapino, alez, zulu, davidea

Rispondi
zofe
Messaggi: 4
Iscritto il: 12 mag 2010, 21:47

consigli per server-vdr con molte dvb-t

Messaggio da zofe »

Ciao a tutti, per un progetto che prevede il monitoraggio delle trasmissioni di varie emittenti locali (su dvb-t),
chiedo aiuto / consigli per realizzare un "server" che possa registrare potenzialmente una decina di canali dvb-t in modalità continuativa per periodi di una/due settimane.
Il risultato a cui punto e' ottenere al termine del periodo da monitorare un elenco di registrazioni complete, ora per ora, canale per canale, con una buona compressione (va bene anche una bassa qualità).

Sto' facendo i miei primi esperimenti usando piu' dvb-t usb di basso costo, con mplayer - mencoder per registrare e comprimere, e mi sto' scontrando con vari problemi legati all'elevato uso della CPU nel caso tenti di comprimere realtime per ottenere già le registrazioni nel formato finale, giusto a titolo di esempio al momento registro così:

Codice: Seleziona tutto

//11.8 mega minuto ma consuma già  50% del mio bi-processore AMD athlon 64  2X
mencoder dvb://RaiUno -o raiuno.avi -endpos 01:00:00 -vf scale -zoom -xy 640 -oac mp3lame -lameopts br=112:cbr:mode=0 -ovc lavc -lavcopts vcodec=mpeg4:vbitrate=1500:vhq
mi sembra al momento piu' verosimile passare a registrare il ts dei singoli canali, e accodare la compressione subito dopo..
ma cio' comunque il problema che così facendo una sola macchina non ce la fà a fare la transcodifica di piu' di un canale contemporaneamente
(e comunque ci vorrebbe tantissimo spazio su filesystem se registro in mpeg2 i 10 canali).

Vi chiedo quindi consigli per trovare una soluzione hw, per esempio:
- esistono schede dvb-t che mi permettano di scaricare la cpu del lavoro di transcodifica in mp4?
- esistono schede video che supportano la transcodifica hw (da usare con mencoder e i codec opportuni)?

il budget è sugli 800-900 euro... per server comprensivo di schede (pci o pcie) ditemi voi se "se po' fà" o è una sfida impossibile.
Avatar utente
ragno
Messaggi: 3017
Iscritto il: 20 gen 2007, 09:43
Località: Marte e dintorni
Contatta:

Re: consigli per server-vdr con molte dvb-t

Messaggio da ragno »

IMHO, non e' assolutamente possibile fare quello che desideri, soprattutto con quella cifra.
Utilizzando hardware standard, dovresti dividere il carico su almeno 3 macchine.

1) un file server per contienere le registrazioni dopo il trascoding...
2) un pc che effettua il trascoding offline
3) una o piu' vdrbox registrano in mpeg nativo...

Esistono schede hardware che effettuano la de-codifica di flussi a/v, ma si tratta di prodotti in ambito professionale.
Tu stai parlando di utilizzare dongle usb da poche decine di euro ciascuna... :)


ciao
vdr: 1.4.7+extpatch54 (pensionata), 1.7.27 (yavdr 0.4)
Percorri la via che porta al sole,
e non camminare sui sentieri oscuri.

E quando penso che sia finita,
è proprio allora che comincia la salita.
zofe
Messaggi: 4
Iscritto il: 12 mag 2010, 21:47

Re: consigli per server-vdr con molte dvb-t

Messaggio da zofe »

intanto grazie per la risposta,

per la questione dongle usb.. sono solo i miei esperimenti attuali, prima appunto di cominciare a comprare hw.
sto' anche vagliando soluzioni basate su piu' macchine, ma il problema rimane il "volume" occupato da 14 giorni di registrazione continua in mpeg2, anche dovesse trattarsi di monitorare un canale solo.

Domanda, semplificando.. prendendo in considerazione un solo canale
Se una macchina registra un'ora in mpeg2,
e appena finisce un'altra parte con il transcoding in mpeg4,
mentre la prima ricomincia con la registrazione.. e così via

il sistema regge (ossia quella che fà il transcoding riesce a finire prima ed essere pronta a codificare l'ora successiva) ?
Avatar utente
alez
Messaggi: 3074
Iscritto il: 09 mag 2007, 17:11

Re: consigli per server-vdr con molte dvb-t

Messaggio da alez »

Probabilmente potrebbe esserti utile: considera di attivare l'opzione che sfrutta il multithreading su mencoder
Ciao alez
Avatar utente
ragno
Messaggi: 3017
Iscritto il: 20 gen 2007, 09:43
Località: Marte e dintorni
Contatta:

Re: consigli per server-vdr con molte dvb-t

Messaggio da ragno »

zofe ha scritto: Domanda, semplificando.. prendendo in considerazione un solo canale
Se una macchina registra un'ora in mpeg2,
e appena finisce un'altra parte con il transcoding in mpeg4,
mentre la prima ricomincia con la registrazione.. e così via

il sistema regge (ossia quella che fà il transcoding riesce a finire prima ed essere pronta a codificare l'ora successiva) ?
Rimanendo in ambito vdr, partendo da un singolo canale, potresti schedulare ogni registrazione in base all'epg, ed al termine di ognuna di esse far partire uno script (parametro --record=CMD) a bassa priorita' per effettuare l'elaborazione con mencoder.
Riguardo il re/trans-coding, calcolando una media di 5Mbit/sec per il canale registrato in mpeg nativo, potresti, (in ordine di livello di compressione e velocita'):

1) limitarti a ridurre il bitrate lasciando la codifica in mpeg2 (solo requantizing)
2) ridurre la risoluzione e ricodificare in mpeg2
3) ridurre la risoluzione e codificare in mpeg4

ciao
vdr: 1.4.7+extpatch54 (pensionata), 1.7.27 (yavdr 0.4)
Percorri la via che porta al sole,
e non camminare sui sentieri oscuri.

E quando penso che sia finita,
è proprio allora che comincia la salita.
zofe
Messaggi: 4
Iscritto il: 12 mag 2010, 21:47

Re: consigli per server-vdr con molte dvb-t

Messaggio da zofe »

@alez

ok, mi guardo il multithreading, non conoscevo l'opzione.


@ragno

purtroppo mi serve proprio monitorare le 24 piene, comprese pubblicità..
ragno ha scritto:
...

1) limitarti a ridurre il bitrate lasciando la codifica in mpeg2 (solo requantizing)
2) ridurre la risoluzione e ricodificare in mpeg2
3) ridurre la risoluzione e codificare in mpeg4
...
la 1) mi ispira.. non ho mai pensato di lasciarlo in mpeg2 perchè sono piu' pratico con mpeg4..

Datemi qualche dritta per sostituire le pennine usb con schede dvb-t pci o pcie.
Qualcosa che regga le due settimane (magari comunque ciclo e faccio riposare a turno un decoder), che sia compatibile con ubuntu.
Che processore mi consigliate (per la macchina che farà le elaborazioni) ?

Da qualche parte ho letto che si puo' registrare un mux (tutti i canali che ci sono su in un'unica ts), credo con vlc, la vedi come una cosa pratica? (o poi lo split e il trans-coding è ancora piu' problematico)

grazie
Avatar utente
ragno
Messaggi: 3017
Iscritto il: 20 gen 2007, 09:43
Località: Marte e dintorni
Contatta:

Re: consigli per server-vdr con molte dvb-t

Messaggio da ragno »

zofe ha scritto:
@ragno

purtroppo mi serve proprio monitorare le 24 piene, comprese pubblicità..
Guarda che io ti suggerisco di dividere le 24 ore piene (come le chiami tu) secondo la programmazione dell'epg. A meno che il canale che registri sia privo dei dati dell'epg, non ha senso registrare dalle 00:00 alle 24:00 senza mantenere alcuna informazione...
Vdr suddivide le registrazioni in segmenti da massimo 2Gb, ma i tools che effettuano l'elaborazione (demux,re-encode, remux, etc) non necessariamente. Rischi di lavorare con file da decine di GB (per ogni singolo canale a 4/4,5Mbit/sec siamo intorno a 2Gbyte/h) e questo non e' certo un carico leggero...

Il primo problema e' quello dello storage, visto che in linea di massima con una macchina con hardware recente dovresti riuscire a registrare senza problemi (problemi=sporadiche perdite di frame nel flusso a/v dovute a latenze generate da altri processi, ricalibrazione delle testine degli hd, etc, etc) almeno un paio di mux (quindi dai 3 ai 5-6 canali per mux). Un mux=una scheda dvb-t (usb o pci)...
Tuttavia all'aumentare delle registrazioni, dovresti avere una capacita' di post-processing (re-encode) almeno con un rapporto 1:1. Altrimenti anche uno storage da 3-4 TB lo porti in un paio di giorni alla saturazione.


ciao
vdr: 1.4.7+extpatch54 (pensionata), 1.7.27 (yavdr 0.4)
Percorri la via che porta al sole,
e non camminare sui sentieri oscuri.

E quando penso che sia finita,
è proprio allora che comincia la salita.
zofe
Messaggi: 4
Iscritto il: 12 mag 2010, 21:47

Re: consigli per server-vdr con molte dvb-t

Messaggio da zofe »

ok,
riguardo le 24 ore, come dicevo ho necessità di dividerle in fasce da un'ora :
\canale7
00_01.avi
01_02.avi
...

pero' in realtà questa divisione precisa mi serve solo nel formato finale,
in quello dei ts sarebbe pratico mantenere la stessa divisione, ma effettivamente potrei suttividere ulteriormente e fare tutti i file da 30 minuti (che mi puo' andare bene) per lavorare con file piu' piccoli.

il problema grosso sembra anche a me diviso fra storage e capacità di riuscire a encodare man mano per liberare spazio.
.. quando parli di 1:1 che intendi?

Io contavo di riuscire, sulla macchina che encoda, a creare una coda di almeno 1/2 o 3 file da processare (magari con un quadcore e usando il multithread suggerito da alez.. che dai miei primi test accellera di parecchio il tempo necessario al re-encode)
quindi speravo piu' in un rapporto 3:1 ( tre canali vengono registrati su una macchina, e un'altra macchina è in grado di trasformare in mp4 i 3 canali.. riuscendo a "stargli dietro")

Per caso, mentre cercavo hw per sostituire le pennine ho trovato questa:
http://it.bestshopping.com/prezzi/Keyte ... MPG4|.html

ma mi pare improbabile che quel coso "registri" come c'è scritto im mpeg4 ... è piu' probabile che sia in grado di farlo via software o semplicemente che "mpeg4" citato si riferisca ai canali in hd no?

Grazie per l'aiuto e la competanza.
Avatar utente
ragno
Messaggi: 3017
Iscritto il: 20 gen 2007, 09:43
Località: Marte e dintorni
Contatta:

Re: consigli per server-vdr con molte dvb-t

Messaggio da ragno »

@zofe: su vuoi utilizzare vdr, sarebbe bene farlo secondo la sua filosofia e le sue capacita'. Puoi anche crearti dei timer orari per ogni canale, ma imho, e' meglio registrare ogni singolo evento utilizzando l'epg.
Quando parlo di 1:1 intendo la capacita' di processare le registrazioni almeno alla stessa velocita' con cui vengono create. Altrimenti dopo poco tempo sei sempre "disk full".
Che io sappia non esistono schede dvb-t consumer con capacita' di encoder hardware, semmai c'e' qualcuna con capacita di decoder hardware (come la vecchia FF T-1200), ma stiamo sempre parlando di dispositivi con output verso frame buffer video...

Le registrazioni invece prendono il flusso cosi come giunge e semplicemente lo copiano su disco nel formato nativo.
Lavorare sull'intero TS significa solo posticipare la divisione nei singoli canali e generare files ancora piu' voluminosi.
Inoltre il formato nativo di vdr (.vdr Mgep-PES) e' molto comodo per il postprocessing in quanto contiene tutte le informazioni per mantenere in sincronismo il flusso audio video...

ciao
p.s. naturalmente per fare questa "cosa" mica sei obbligato di utilizzare vdr... :)
vdr: 1.4.7+extpatch54 (pensionata), 1.7.27 (yavdr 0.4)
Percorri la via che porta al sole,
e non camminare sui sentieri oscuri.

E quando penso che sia finita,
è proprio allora che comincia la salita.
Rispondi