Multimedijski tipovi objekta: video

1
Multimedijski tipovi objektavideo

• Osnovne karakteristike pokretnih slika
• Percepcija pokreta
• Moguce korišcenje videa u multimedijskim
  aplikacijama/prezentacijama
• Video kompresija principi i implementacija
• Neki tehnicki aspekti racunarskog predstavljanja
  videa

2
Vision

• Culo vida je verovatno najvažnije culo ljudskih
  osecaja
• Percepcija intenziteta i boja
• Oko je osetljivije na crno-bele detalje
• Boja se ne opaža dobro ako su smanjeni uslovi
  osvetljenja

3
Slike u pokretu

• Perzistencija cula vida sukcesivno prikazane
  slike (15 do 20 u sekundu) stvaraju iluziju
  kretanja
• Manji broj frejmova - flickering, povecanjem
  broja frejmova dobija se pokret bez prekida

4
Razlika ...

• Ovaj video ima 4 frejma u sekundu ...

• ... a ovaj oko 10 (koraci se još uvek vide)

5
Razlika ...

• Ovaj video ima 24 fps
• Ali sada racunar (tj. CPU i video podsistem)
  postaju ogranicavajuci faktor...

6
Filmovi rade na sledeci nacin ...

• 24 fps
• ali svaki frejm je osvetljen dva puta
• Odnos širina/visina (aspect ratio - format slike,
  velicina kadra) je 4/3
• Šira slika se postiže specijalnom optikom
  (Cinemascope, Panavision)

7
TV slike

• Prvi pokušaji 1936 (crno bela TV)
• Kolor TV 1951
• Elektronski zrak skenira sliku horizontalno po
  linijama (525 USA, 625 u Evropi)
• Brzina frejmova je sinhronizovana sa frekvencijom
  elektricne struje 30Hz u USA, 25Hz u Evropi
• Skenirana slika se prenosi liniju po liniju, sa
  odgovarajucim informacijama o sinhronizaciji

8
TV displej

• Slika se ponovo kreira na strani prijemnika
• Katodna cev TV-a skenira ponovo elektronskim
  mlazom ciji je intenzitet modulisan signalom
• Fosforne tacke osvetljene kroz masku (rešetku)
  isijavaju vidljivu svetlost

9
Video standardi

• Digitalni video uredaji moraju da odgovaraju
  standardima ranije utvrdenim za TV uredaje
• Digitalni standardi moraju zadržati
  kompatibilnost u odnosu na standarde za analogne
  uredaje.

10
Video standardi

• Osnovi standarda za TV
• Svaki frejm je podeljen na dva polja
• Parne i neparne linije
• Polja se prenose jedno za drugim
• Frejm je sacinjen od isprepletanih polja

11
Interlacing-preplitanje

• Koristi se zbog nesavršene elektronike
• Brzina frejmova se sinhronizuje na polovinu
  frekvencije struje.
• Parne linije skenirane u jednom polu-frejmu, a
  neparne linije u drugom
• 50 ili 60 half-frames per second

12
Dimenzije slike
13
Problemi skladištenja

• Analogni TV zapis na magnetskim trakama

14
Video standardi

• ANALOGNI
• PAL (Phase Alternating Line), YUV
• Zapadna Evropa, Australija Novi Zeland, Kina,
• NTSC (National Television Standards Committee),
  YIQ
• Severna Amerika, Japan, Tajvan, delovi Južne
  Amerike.
• SECAM (Séquential Couleur avec Mémoire)
• Francuska i zemlje bivšeg Sovjetskog Saveza
• Standard se odnosi na prenos dok se za kamere
  koristi PAL
• Nažalost, ne postoji kompatibilnost izmedu
  standarda

15
Video standardi

• Digitalni video standard propisan ITU-R BT.601 i
  nazvan CCIR 601
• 720 odbiraka intenziteta(Y), 2x360 odbiraka
  razlike boja (B-Y i R-Y) po liniji

16
Savremeni TV

• analogni HDTV
• mnogo godina i para potrošenih u Japanu
• malo prihvacen zbog problema kompatibilnosti
• digitalni TV i/ili HDTV (USA i evropa)
• preko 1100 linija (1125 ili 1200)
• 169 aspect ratio
• kompletna digitalno procesiranje

17
Digitalni video

• Digitalni video skup digitalizovanih slika,
  koje se prikazuju dovoljnom brzinom frejmova
• Ako želimo da prenosimo niz slika u boji treba...
• 16 ili 24 bpp (za dobru boju)
• najmanje 640 x 480 pixels (za prihvatljivu
  rezoluciju)
• najmanje 25 frames per second
• Ovo daje oko 15MB per second, ili preko 100 GB za
  ceo film
• Veca rezolucija slike (1280 x 1024) i 30 fps
  zahtevaju oko 112.5MB/s širinu opsega, ili skoro
  1TB memorije ???

18
Digitalni video

• Velicina zapisa digitalizovanog video signala
• (niz frejmova opisanih bitmapiranim slikama)
• PAL uncompressed
• 768x576 piksela po kadru
• x 3 bajta po pikselu (24 bit boja)
• x 25 kadrova u sekundu
• 31 MB u sekundu
• 1.85 GB u minutu

19
Digitalni video

• Velicina zapisa digitalizovanog video signala
• NTSC uncompressed
• 640x480 piksela po kadru
• x 3 bajta po pikselu (24 bita boja)
• x 30 kadrova u sekundu (približno)
• 26 MB u sekundu
• 1.6 GB u minutu

20
Digitalni video

• Velicina zapisa digitalizovanog video signala
• Prevelik za CD-ROM, DVD, Internet
• Dovoljni diskovi i Firewire standard
• Kompresija je neophodna
• Limitiranje velicine frejma

21
Digitalni video

• Nacini digitalizacije i kompresije
• Video kamera DV format (mini DV, DVCAM)
• Firewire (brzi interfejs ka racunaru - IEEE
  1394, iLink Sonny)
• Televizija je bazirana na summation modelu boja,
  dok je film-movie baziran na subtraction modelu
  boja

22
Digitalni video

• Originalni
• frejm (levo) i
• komprimovani
• -DV frejm (desno)

23
Digitalni video

• Nacini digitalizacije i kompresije
• Racunar video kartica (analogni signal iz video
  kamere ulazi u racunar, a kartica vrši
  digitalizaciju i kompresiju)
• Kompresija se vrši ili hardverski ili softverski.
• Alternativa je da se analogni signal pre ulaska u
  racunar provlaci kroz eksterni uredaj koji ga
  pretvara u DV signal i zatim šalje u racunar
  preko Firewire standardnog interfejsa.

24
Digitalni video

• Mesto kompresije
• Digitalizacija u kameri znaci manje šuma (DV)
• Manje šuma znaci bolju kompresiju
• Nedostatak digitalizacije u kameri je gubitak
  kontrole nad parametrima kompresije
• Kodek compressor/decompressor (hardverski i
  softverski) koriste razlicite algoritme.

25
Kompresija
640x480
320x240
26
Kompresija

• Video signal sadrži neku vrstu redundantnosti
• Kompresija eksploatiže redundantnost da bi
  smanjila velicinu fajla i zahtevanu brzinu
  transmisije
• Dva tipa kompresije intra-frame i inter-frame,
  odnosno prostorna i vremenska kompresija.

27
Intra-frame (prostorna) kompresija

• Radi sa pojedinacnim frejmovima i pokušava da
  iskoristi redundantnost prisutnu u svakom frejmu
  pojedinacno.
• U suštini isto kao kod nepokretnih slika i
  grafike i vecinu algoritama koje smo koristili za
  obradu slike možemo da koristimo i za video
• Medutim, kompresija i dekompresija mora da se
  izvrše u realnom vremenu - cineci neke algoritme
  manje pogodnim od drugih

28
Prostorna redundancija

• Koristi slicnost izmedu vecine susednih elemenata
  slike

29
Smanjenje prostorne redundancije

• RGB u YUV manje informacija potrebno za YUV
  (ljudi su manje osetljivi na hrominiscenciju)
• Makro blokovi grupe pixela (16x16)
• Discrete Cosine Transformation (DCT)
• Zasniva se na Fourierovoj analizi gde se signal
  predstavlja kao suma sinusnih i kosinusnih
  funkcija
• Koncentriše se na vrednosti sa vecom frekvencijom
• Predstavlja pixel-e u blokovima sa manje brojeva
• Kvantizacija redukuje podatke potrebne kao
  koeficijenti
• Kompresija

30
Prikaz smanjenja prostorne redundancije
Intra-Frame Encoded
Cik-cak, Run-length kodiranje
31
Gubitak rezolucije
Original (63 kb)
Niska (7kb)
Vrlo niska (4 kb)
32
Inter-frame (vremenska) kompresija

• Eksploatiše prisutnu redundantnost izmedu
  uzastopnih frejmova, pod pretpostavkom da se samo
  deo svih piksela jedne slike menja od jednog
  frejma do sledeceg
• Vecina je bazirana na nekoj vrsti predikcije (ili
  estimacije) kako ce se pikseli menjati od frejma
  do frejma

33
Vremenska redundancija

• Koristi slicnost sukcesivnih frejmova

34
Prikaz smanjenja vremenske redundancije
35
Prediktivno kodiranje

• Boja se ne menja isuviše brzo unutar frejma ili
  izmedu sukcesivnih frejmova
• Zbog toga, boja piksela može da se proceni na
  osnovu znanja njegovih suseda
• Zatim, razlika izmedu stvarne vrednosti i
  predvidene se prenosi
• Na srecu, dinamicki opseg se smanjuje
• Zbog toga, manje bitova po uzorku je potrebno
• Ali
• postignut odnos kompresije nije visok (recimo, u
  opsegu od 21)
• šta više, u slucaju gubitka nekih frejmova pri
  prenosu pojavljuje se znacajna distorzija ...

36
Makro blokovi

• Još jedan pristup baziran na predikciji
• Zone ili blokovi piksela koji se mogu kretati od
  frejma do frejma ali se ne menjaju
• Prenose se samo granice takvih blokova i njihove
  nove pozicije, umesto vrednosti boja svih piksela
  u bloku sa znacajnim redukcijama
• Ali potreban je sofisticiran algoritam za
  identifikaciju makro blokova

37
Kompresija ...

• Lossless kompresione tehnike ne izvršavaju
  kompresiju dobro
• Lossy kompresione tehnike su bolje
• ali postoji cena koja se placa loss
  distorzija
• tip distorzije zavisi od kompresione tehnike
• kolicina distorzije zavisi od odnosa kompresije

38
Racunarski video formati

• Najpopularniji video formati
• AVI (Microsoft i IBM)
• MPEG (MPEG)
• QuickTime (Apple)

39
AVI format

• Niz umetnutih audio i video frejmova koji
  obezbeduje automatsku sinhronizaciju izmedu njih
• Velicina slike,brzina frejmova i
• intenzitet bojamogu da se podesenezavisno

40
MPEG

• MPEG (Motion Picture Experts Group)
• MPEG-1 first incarnation of the standard, widely
  used for VCD
• MPEG-2 the second generation of the MPEG
  standard, used in DVD
• MPEG-4 standard definiše kodiranje za
  multimedijalne strimove koji se sastoje iz više
  klasa objekata videa, grafike, animacija, 3-D
  modela
• MPEG-7 is not a compression standard, but rather
  it is intended for content description
• MPEG-21 is intended for Digital Rights Management
  (DRM)

41
MPEG-2

• Druga generacija MPEG standarda
• Hardverski dekoderi/dodati kartici se zahtevaju
  (softverski-samo dekoderi rade sa MPEG-1)
• Razlicite brzine odabiranja sa razlicitim
  odnosima kompresije (i razlicitim kvalitetom)

42
MPEG-2 tipovi frejmova

• I-frejmovi (intra-codirane slike) kompresija
  JPEG (ali u realnom vremenu)
• P-frames
• B-frames

43
P-frames

• Predictive-coded frames require information of
  the previous I-frame and subsequent P-frames
• Coding based on image areas (macro blocks) that
  may shift between frames but do not change at all
  (motion estimation)
• Actual algorithm not specified, but the format
  for transmitting the motion vector is
• Small differences between macro blocks in
  successive frames allowed

44
B-frames

• Bidirectionally predictive coded frames
• Best compression ratios, but playback requires
  both previous and following I- and P-frames
• Both predictive coded frames achieve good
  compression ratios, but they can never be
  accessed randomly, since the information
  contained therein is incomplete

45
QuickTime

• Koristi se i kod Mac-a i PC-a
• QuickTime movie je ustvari kontejner sa velikim
  brojem komponenti koje se zovu tracks
• Svaki track se sastoji iz digitalnih medijskih
  podataka odgovarajuceg formata
• Adaptiran od strane ISO kao startna tacka razvoja
  jedinstvenog digitalno medijalnog formata
  skladištenja za MPEG-4

46
Kodeci

• I QuickTime i AVI obezbeduju samo osnovni format
  za pakovanje frejmova u movie fajl ali ne prave
  nikakvu pretpostavku o aktuelnom algoritmu
  kompresije koji se koristi
• Razliciti algoritmi kompresije se mogu primeniti
  kodeci
• Vecina kodeka može da se doda kao plugin
  postojecim instalacijama rekordera i plejera

47
Najpoznatiji kodeci

• Apple Video Codec basic codec provided with
  QuickTime, reasonable compression and speed
• Apple Animation Codec RLE compression, good for
  animations
• Microsoft Video Codec basic for AVI, reasonable
  compression and speed
• Cinepak much better quality and compression than
  Apple/MS, not too fast
• JPEG each frame is compressed as a JPEG image,
  fast compression, adjustable quality and
  compression ratio
• Motion JPEG similar to JPEG, but with predictive
  coding (hardware support available)
• Intel Indeo very good quality and compression,
  only on Intel-based platforms

48
Virtuelna realnost

• Veštacki kreirano 3D okruženje za racunarsku
  simulaciju prostornih interakcija
• VRML (Virtual Reality Modeling Language) je jezik
  i format za prikaz interaktivne 3D vektorske
  grafike za potrebe Web-a (objekti se ugraduju u
  HTML)
• novi ISO standard je X3D
• Koristi se razliciti senzori i dodaci za
  interakciju korisnika (kaciga, 3D naocare)
• Primena u edukaciji (modeli), obuci (trenažeri) i
  zabavi (video, igre)

49
Morphing-pretapanje, metamorfoza
50
Programski alati

• Za obradu video sadržaja
• Avid Liquid
• Apple FinalCut Studio
• Adobe Premiere
• Pinnacle Studio
• ULEAD VideoStudio
• Microsoft MovieMaker
• Za VR modelovanje
• Active Worlds
• Macromedia Director
• Wings 3D open source 3D modelovanje
• 3D okruženja i dodaci (viewers)

51
Obrada video snimaka

• Editovanje
• Kolekcija komponenata se asemblira u kompletan
  multimedijski sadržaj
• Selekcija, trimovanje i organizacija izvornog
  video materijala
• Obrada tranzicija izmedu snimaka (kadrova)
• Kombinovanje i sinhronizacija slika sa zvukom
• Originalni snimljeni materijal se ne menja u ovoj
  fazi obrade

52
Obrada video snimaka

• Post-produkcija
• Modifikacija i dodavanje materijala
• Vecina promena je generalizacija operacija
  manipulacije nad slikama (npr. korekcija boja,
  zamagljivanje i izoštravanje,)
• Kombinovanje kombinovanje elemenata iz
  razlicitih snimaka u jednu kompozitnu video
  sekvencu
• Animiranje pojedinih elemenata i kombinovanje
  animacija sa ostalim snimljenim materijalom.

53
Obrada video snimaka

• Priprema za dostavu video materijala
• Potreban je kompromis da se potrebe za resursima
  koje namece video prilagode postojecem stanju
  (tj. propusnim opsezima mreža i racunarima).
• Redukovanje velicine frejma
• Redukovanje brzine promene frejma
• Redukovanje dubine boja

54
Dodatak 1

• Definicija YUV
• The color encoding system used for analog
  television worldwide (NTSC, PAL and SECAM). The
  YUV color space (color model) differs from RGB,
  which is what the camera captures and what humans
  view. When color signals were developed in the
  1950s, it was decided to allow black and white
  TVs to continue to receive and decode monochrome
  signals, while color sets would decode both
  monochrome and color signals.
• Luma (osvetljenost) i signali razlike boja
• The Y in YUV stands for "luma," which is
  brightness, or lightness, and black and white TVs
  decode only the Y part of the signal. U and V
  provide color information and are "color
  difference" signals of blue minus luma (B-Y) and
  red minus luma (R-Y). Through a process called
  "color space conversion," the video camera
  converts the RGB data captured by its sensors
  into either composite analog signals (YUV) or
  component versions (analog YPbPr or digital
  YCbCr). For rendering on screen, all these color
  spaces must be converted back again to RGB by the
  TV or display system.
• Matematicki ekvivalent RGB-u
• YUV also saves transmission bandwidth compared to
  RGB, because the chroma channels (B-Y and R-Y)
  carry only half the resolution of the luma. YUV
  is not compressed RGB rather, Y, B-Y and R-Y are
  the mathematical equivalent of RGB

55

• Kompozitni video i S-video
• The original TV standard combined luma (Y) and
  both color signals (B-Y, R-Y) into one channel,
  which uses one cable and is known as "composite
  video." An option known as "S-video" or "Y/C
  video" keeps the luma separate from the color
  signals, using one cable, but with separate wires
  internally. S-video is a bit sharper than
  composite video.
• Komponentni video
• When luma and each of the color signals (B-Y and
  R-Y) are maintained in separate channels, it is
  called "component video," designated as YPbPr
  when in the analog domain and YCbCr when it is
  digital. Component video is the sharpest of all.
• Termin je opšti
• In practice, YUV refers to the color difference
  encoding system whether composite or component,
  and "YUV," "Y, B-Y, R-Y" and "YPbPr" are used
  interchangeably for analog signals. Sometimes,
  "YCbCr," which is digital, is used
  interchangeably as well.

56
(No Transcript)