Vasile Bogdan

1
UNIVERSITY POLITEHNICA of BUCHAREST DEPARTMENT OF
COMPUTER SCIENCE
Transmisia datelor multimedia in retele de
calculatoare Content Based Architecture For
Video transcoding

• Vasile Bogdan
• ltbogdan_constantin_vasile_at_yahoo.comgt

2
(No Transcript)
3
Cuprins

• Introducere
• Transcoding
• MPEG-1
• Tipuri de transcodere
• Abordarea propusa
• Concluzii
• Întrebari
• Referinte

4
Introducere

• Odata cu dezvoltarea terminalelor mobile si a
  retelelor de comunicatie cantitatea de date
  multimedia destinate acestora a crescut
  considerabil
• O foarte mare parte din datele care circula intre
  si catre dispozitivele mobile sunt stream-uri
  video
• Necesare prelucrari ale sursei pentru a obtine
  compatibilitate cu dispozitivul destinatie.

5
Introducere(2)

• Ecranele dispozitivelor mobile sunt de obicei
  mici ca rezolutie si de calitate slaba comparativ
  cu ecranele mari.
• Puterea de calcul de care dispun terminalele este
  redusa, ceea ce înseamna ca prelucrarile asupra
  fluxului de date nu pot fi facute offline, pe
  dispozitivul client
• Latimea de banda nu este nici ea foarte mare,
  ceea ce poate crea probleme în ceea ce priveste
  cursivitatea redarii.

6
Transcoding

• Pentru a adapta datele video conditiilor impuse
  de terminale si de retelele de comunicatie care
  le deservesc, formatul video trebuie modificat
  dinamic, online, astfel incât sa ajunga gata de
  redare la client.
• Aceasta procedura poarta numele de transcoding si
  presupune transformarea formatului folosit pentru
  date vizând unul din aspectele
• Conversie de bitrate
• Conversie de rezolutie
• Conversie sintactica

7
Conversie de bitrate

• Formatul sursa presupune un video la o calitate
  buna sau foarte buna, dar transferul sau consuma
  foarte multa banda.
• Terminalele în general nu pot beneficia de
  suplimentul de calitate.
• Clipul este transformat in unul cu bitrate mai
  mic, ceea ce duce la o incarcare mai mica a
  retelei si la o redare mai fluenta.

8
Conversie de rezolutie

• În cele mai multe cazuri, rezolutia ecranelor
  terminalelor este mica în comparatie cu rezolutia
  sursei
• Se face conversia la o rezolutie mai mica,
  compatibila cu terminalul
• Rezolva si probleme privitoare la latimea de banda

9
Conversia sintactica

• Presupune transformarea formatului datelor în un
  format suportat de dispozitivul mobil
• Poate fi facuta atât online, cât si offline în
  cazul în care dispozitivele suporta instalarea de
  codecuri.
• De cele mai multe ori, sunt folosite combinatii
  ale celor trei metode, alaturi de algoritmi de
  compresie a datelor.

10
MPEG

• Protocol care permite comprimarea unui stream
  video si a unuia audio, într-un format lossy
• Profita de imposibilitatea ochiului uman de a
  distinge între schimbarile subtile în cromatica
  (spre deosebire de stralucire)
• Constituit din diverse tipuri de frame-uri
• I-frame Frame-uri care contin informatii ce
  permit cautarea în fisier si prelucrarea acestuia
• P-Frame(Predicted Frame) Contin variatiile fata
  de frame-urile de baza, folosite pentru a
  reconstitui frame-uri complete.

11
MPEG(1)

• B-Frames(Bidirectional Frames) Folosite pentru
  reconstituirea unei scene pe baza unor frame-uri
  precedente, precum si a unora viitoare
• D-Frames Contin numai coeficientii DC ai
  transformarii cosinus discrete
• Macroblocks Blocuri de 16x16 pixeli. Desi MPEG
  este definit pentru blocuri de 8x8, datorita
  rescalarii in domeniul cromatic sunt necesare
  aceste blocuri mai mari
• Vectori de Miscare La nivel de macroblock,
  memoreaza variatiile din scene consecutive

12
Transcoder in cascada

• Cel mai simplu transcoder este cel în cascada
• Fluxul de date este decodat comform protoculului
  folosit initial si apoi este recodat în formatul
  necesar
• Consuma multe resurse computationale

13
Transcoder pentru scaderea de bitrate

• Pentru reducerea de bitrate este preferabila în
  schimb utilizarea unui transcoder care sa aiba la
  intrare formatul sursa si la iesire formatul
  destinatie, cu toate transformarile necesare deja
  efectuate.
• Bitrate-ul redus este obtinut prin folosirea
  transformarii cosinus discrete(coeficientii
  transformarii sunt scalati sau ignorati
  optimal)1
• Erorile de reconstituire sunt cumulative.
• Vectorii de miscare din sursa nu pot fi folositi
  ca atare în noul format, din cauza variatiei mari
  de bitrate.

14
Transcoder pentru scaderea de bitrate(1)

• Scalarea vectorilor de miscare ar asigura o
  calitate buna dar consuma multe resurse
  computationale
• Se foloseste o scalare partiala a vectorilor de
  miscare, luându-se drept sursa doar o parte a
  imaginii.

15
O abordare mai eficienta
16

• Extragerea de caracteristici
• Fiecare vector de miscare corespunde unui bloc de
  16x16 pixeli
• Sunt necesare informatiile folosite pentru TCD
• Vectorii de miscare sunt grupati in funtie de
  magnitudine si de directie si multimea obtinuta
  este considerata ca fiind un potential obiect
• Analiza de texturi si margini
• Pe baza coeficientilor TCD, se calculeaza
  energia texturii, ca un mod de a obtine
  caracteristici diferite pentru obiectele în sine
  si fundal

17
Calculul energiei model propus
18
Folosind coeficientii TCD se pot deduce
caracteristicile diagonale, orizontale si
verticale ale blocurilor, ceea ce va permite
diferentierea lor in blocuri textura si blocuri
de granita
19
Control temporal

• Folosind vectorii de miscare se merge pe ideea ca
  o miscare lina corespunde unor vectori de miscare
  care nu reflecta schibari bruste.
• În acest fel se poate stabili gradul de corelatie
  între diferite frame-uri si astfel se poate
  decide ponderea unui frame în determinarea altor
  frame-uri apropiate

20
Transcodarea

• Transcodarea va fi controlata de un modul
  special, pentru a asigura scalabilitatea solutiei
• Dupa toate etapele prezentate, transcodarea în
  sine se va realiza tot prin scalarea
  coeficientilor TCD în cazul modificarii de
  bitrate, la care se adauga operatiile necesare
  reducerii rezolutiei în cazul în care aceasta
  este necesara.

21
Concluzii

• Având în vedere trecerea tot mai accentuata în
  domeniul live-streaming, metote tot mai eficiente
  de transcodare trebuiesc gasite.
• Desi terminalele devin tot mai puternice, la fel
  se întâmpla si cu setea de HD a utilizatorilor
  (dar si a marketerilor)
• Pe viitor necesitatea de a obtine algoritmi care
  sa ofere o calitate tot mai buna a imaginii va fi
  tot mai mare, disparitia nevoii de a rescala
  filmele nu va insemna disparitia nevoii de
  transcodare.

22
Întrebari?
23
Referinte

• CONTENT BASED ARCHITECTURE FOR VIDEO TRANSCODING
  Ashraf M.A. Ahmad1, Bashar Mammon Ahmad
• MPEG-1 format http//en.wikipedia.org/wiki/MPEG-
  1Part_1_Systems
• Image Compresion http//www.acm.org/crossroads/xr
  ds6-3/sahaimgcoding.html
• Texas Instruments DaVinci hardware Transcoder
• http//www.ti.com/corp/docs/landing/transcoding/in
  dex.htm