Sistemas MPEG4 Visin y Arquitectura

1
Sistemas MPEG-4 Visión y Arquitectura
2
Contenido

• Requerimientos
• Desarrollo y Arquitectura
• Herramientas de sistema de Versión 1 (Logros)
• Herramientas de sistema de Versión 1
  (Perspectivas)
• Conclusion

3
Requisitos del sistema
4
Requisitos del sistema (1)

• Requisitos Tradicionales del sistema
• Modelo del Decodificador de Sistema,
• Manejo de Flujos Elementales (sincronizacion,
  Manejo de buffer, paquetizacion, ...),
• Administración de derechos de Propiedad
  Intelectual.

5
Requisitos del sistema (2)

• Requisitos Especificos de MPEG-4
• Representación Codificada de la Escena
  Interactiva Audiovisual,
• Identificación y Asociación de Flujos
  Elementales,
• Información del Contenido de Objecto,
• Interacción con el Usuario.
• Flexibilidad (Programabilidad)

6
Desarrollo y Arquitectura
7
Estructura Estandar MPEG-4
Delyvery Aware, Media unaware 14496-6
DMIF14496-1 FlexMux
Media y Delivery unaware 14496-1 Sistemas,
adaptacion de las actividades tradicionales
MPEG-2
Media Aware, delivery unaware 14496-2/3 Audio y
Visual14496-1 Foco en MPEG-4 necesidades
especificas
8
Sistemas MPEG-4 en MPEG

• "La Representación codificada de la combinación
  del flujo de información audiovisual elemental."

9
Estructura del Subgrupo de Sistema
10
Decoding
Network
...
Ex MPEG-2 Transport
Display and Local User Interaction
11
Canal de Retorno
Network
TransMux
DAI
12
Herramientas de sistema de la Versión 1
13
Herramientas de la Versión 1

• Representacion de Contenido Multimedia
• Identificacion of Flujos Elementales Descriptor
  de Objeto
• Descripcion de Escena BIFS (BIFS, BIFS Update)
• Animacion de la Escena Flujos de Animacion
• Información del Contenido de Objecto OCI
• Identificacion de la Propiedad Intelectual

14
Herramientas de la Versión 1

• Manejo de Flujos Elementales
• Administración de Tiempos y de Buffer Modelo del
  Decodificador de Sistema
• Sincronizacion Sync. Layer y AccessUnit
• Multiplexing de Flujos Elementales FlexMux

Herramientas de representación genérica Represent
acion Sintáctica Lenguaje de Descripcion
Sintactico
15
Decoding
Network
...
Ex MPEG-2 Transport
Display and Local User Interaction
16
Implementacion de Software

• La Version 1 de Sistema CD no es solamente una
  especificacion en el papel. Un grupo de miembros
  MPEG, liderados por Zvi Lifshitz (VDONet) está
  activamente trabajando en una implementacion de
  software Im1.

• Im1 no es solo un Software de Sistema , tamién
  provee interfaces conectables al Decodificador
  Media. Usando esta interface, un navegador MPEG-4
  completo está bajo construccion.

17
El Entramado de Flujo
18
Elementos

• Modelo de Decodificador de Sistema y Capa Sync.
• Definicion de la noción del tiempo.
• Administración de buffers.
• Codificación de la información de Tiempo.

• Flujos Descriptores de Objeto
• Identificacion of Flujos Elementales.
• Asociacion of Flujos Elementales.

19
Sincronización

• Time Stamps y Referencias de Reloj están
• definidas en el Modelo decodificador de Sistema
• Conducido en la Capa de Acceso.

• Basado en dos conceptos conocidos
• Referencias de Reloj
• Contiene lavelocidad del reloj codificador
• Time Stamps
• Contiene información de la ocurrencia de un
  evento

20
Modelo del Decodificador de Sistema
d e m u l t i p l e x
21
Sincronización
...................
Decoding Buffer
...................
Composition Memory
available for composition
22
Capa de Sincronización
Encoders
Access Unit
Access Unit
Access Unit
Sync. Layer
Compression Layer
23
Capa de Sincronización

• Limites de AccessUnit. Access Units pueden usar
  mas de un SL-Packet.
• Provee checking de consistencia para paquetes
  perdidos.
• Transporta Referencia de Reloj.
• Transporta Time Stamps de Decodificación and
  Composición.
• Transporta time stamps de Wall Clock.

24
Capa de Sincronización

• Flexible
• Un amplio rango de data-rates y media streams
• Gran rango de timestamps,
• Alternativa a time stamps para bit-rates menores.

• Configurable
• OCR puede llegar a través de otros flujos
• Parametros de la Capa Sync. Se determinan dentro
  del Descriptor de Objeto.

25
Descriptor de Objeto

• Identificación de Flujos Elementales
• Stream types and decoder configuration,
• Streams identification and location,
• IPR and object content description.

• Asociación entre Flujos
• Coding dependency between streams,
• Clock dependencies between streams,
• Association between Scene streams and Media
  streams.

26
(No Transcript)
27
(No Transcript)
28
(No Transcript)
29
Descriptores de Flujos Elementales

• Ellos contienen punteros a
• Flujos de Contenido Codificado Dimensionable
• Flujos de Contenido de Calidad Alternada
• Informacion de contenido de objeto
• IPR Informacion
• y los sub-descriptores a
• Configuración del decodificador
• Configuracion de Cabecera de la Capa Sync.
• Informacion de Calidad de Servicio
• Informacion de Extension

30
Ruta de una sesión
31
BInary Format for Scene
MPEG-4 BIFS
32
BIFS Racional

• Para juntar en un tipo de media MPEG-4
• 2D3D, naturalsintético, audiovideo,
  almacenadocapturado
• en el mismo ambiente.

33
Que es BIFS

• BIFS esta basado en VRML
• Es un conjunto de Nodos que representan las
  primitivas de objetos de escena a ser compuestos,
  La construcción de escena grafica, el
  comportamiento e interactividad

34
What Is BIFS

• Additionally to VRML, BIFS defines
• 2D capabilities,
• Integration of 2D and 3D,
• Advanced Audio Features,
• a timing model,
• BIFS - Update protocol to modify the scene in
  time,
• BIFS - Anim protocol to animate the scene in
  time,
• a binary encoding for the scene.

35
2D examples
36
(No Transcript)
37
3D Scenes

• Scene Description Features
• Hierarchical 3D scene graph with depth
• Texture Mapping
• Spatialized Sound

• Media Objects
• Still and Moving Images as textures
• Basic 3D graphic primitives including 3D Mesh and
  texture mapping streaming text
• Face and Body animations
• Natural and synthetic sounds

38
3D Ejemplos
39
2D/3D Examples
40
Advanced Audio Features

• Scene Description Features
• Description of an Audio scene graph
• Mixing of Sound (Natural or Synthetic)
• Transformation of natural audio sources for
  creating special effects

• Media Objects
• Simple Audio Primitives
• Description of synthetic sound with the Orchestra
  Language

41
Interactivity and Behaviors (1)

• VRML Based event model
• Sensors generate events according to some user or
  scene events.
• Interpolator enable to generate time varying
  attributes for animation.
• ROUTEs enable to pass events between nodes

42
Binary Representation of Scene

• Compression of scene with a factor of 8 to 100
• Quantization of scene attributes to control the
  rate and degradation.
• Better than existing encoding schemes (ex VRML
  state of the art).

43
BIFS Components
44
Scene Description Version 1 Profiles
45
Delivery of MPEG-4 Content
TransMux Layer and FlexMux Tool
46
Delivery Framework
47
TransMux Layer

• TransMux is an abstraction to refer generically
  to any storage multiplex (file format) and any
  transmission multiplex.

• It is in general defined outside MPEG.
• It has been used during the MPEG-4 development
  process to analyze properties that must be
  included in the FlexMux tool.
• Payload formats for, e.g., RTP, MPEG-2, H.223
  will be co-developed by MPEG and responsible
  group

48
Wrapping of Sync. Layer Packets
49
FlexMux Tool

• Rational
• Not a core MPEG task
• Respond to needs for MPEG-4 content transmission

• Main features
• Low delay
• Low overhead
• Low complexity

50
Modes of the FlexMux Tool
51
Systems Version 2 Tools
52
MPEG-4 Systems Version 2

• Representation of Multimedia Content
• Scene Description Advanced BIFS
• MPEG-4 enabled Java MPEG-J
• Intellectual Property Management IP Protection
• Normative Composition

• Management of Elementary Streams
• Storage Interchange File MPEG-4 Intermedia
  Format

53
Advanced BIFS

• What is it ?
• VRML nodes not implemented Proto,
  ExternProto,...
• Programmatic features Script
• Advanced Audio Properties
• User Interaction Advanced Interaction Model
• Multi User Virtual World

54
MPEG and Java
MPEG-J
55
What is MPEG-J ?

• Convergence and Synergy between technology that
  have an increased audience MPEG-4 and Java.
• Audiovisual Java Programs considered as the coded
  representation of audiovisual information.

56
Driving Applications

• Streaming media in web applet
• Interactive multimedia / TV
• Multimedia programs / titles
• Network-delivered games
• Robust mobile multimedia

57
Development Procedure
"MPEG-J"

• Specification of Java APIs in MPEG-4 Systems
• Technology Framework

58
(No Transcript)
59
MPEG-4 File Format
M4F
60
What Is it ?

• Data format for stored and streamed multimedia
  content design for MPEG-4 content
• Development Procedure
• Call for Proposal in Fribourg
• First Evaluation of proposals in San Jose
• Choice of starting point
• Collaborative Development of a Verification Model
  and Working Draft it moves fast !

61
Conclusion

• The MPEG-4 Systems Sub-group has delivered the
  Systems FCD for ISO/IEC 14496-1 (MPEG-4 Systems
  Version 1).
• This document specifies a first set of tools and
  profiles that are made available to the industry.
  There is still one round of comments.
• Innovations continue in Version 2 !!