Comment taire

1
 Comment taire 

• Olivia Grandville et Sylvie Garot

Romain Kronenberg Nicolas Leroy
2
Enjeux

• Explorer les liens possibles entre geste et son.
• Trouver dans le geste des informations
  pertinentes pour le contrôle de la synthèse
  sonore.
• Trouver des traitements sonores qui permettent
  de transformer une voix naturelle en matériau
  sonore plus électronique et abstrait.

3
Traitements sonores

• MAC G5, Max/MSP
• DM2000 diffusion 6 enceintes
• Matériau sonore voix enregistrées
• préalablement, captation sonore du plateau en TR
• Traitements Sogs, ring modulation, Spat,
  delays, sampling, filtres résonants

4
Setup Audio
Cam 1
Cam 2
Micro 1
Micro 2
Matrice video
PC Eyesweb
G5
DM2000
ethernet
ADAT
amplis
HP 1
HP 2
HP 6
HP 3
HP 5
HP 4
5
Captation et Vidéo

• Logiciel utilisé EyesWeb sur PC, développé par
  InfoMus Lab à luniversité de Gênes
  (www.eyesweb.org)
• 2 Caméras DV reliées au PC en composite via une
  matrice KRAMER commandée par le PC
• Données gestuelles envoyées du PC vers le MAC
• - liaison Ethernet
• - protocole Open Sound Control

6
Setup Captation et Vidéo
7
Déroulé du spectacle

• Podium
• Plateau segmenté
• Tractation
• Son plateau
• Final

8
1. Captation  Podium 

• Extraction de la couleur de la peau
• Mode YUV (YCbCr Luminance et Chrominances)
• Traitement de la chrominance Cr traduisant la
  proximité au rouge/rose caractéristique de la
  couleur de la peau
• Utilisation du barycentre des pixels
• Robuste
• Envoyé via Open Sound Control au MAC

9
1. Patch Caméra  Podium 
10
1. Podium

• 86 samples extraits dun texte, déclenchés
  successivement en fonction des mains dOlivia
• position
• proximité
• énergie
• - Déclenchements de syllabes.

11
2. Captation  Plafond 

• Technique de captation
• Passage en niveaux de gris
• Soustraction de fond avec seuillage
• Photo prise Live ou pré-enregistrée gt Image
  binarisée
• Filtrage médian close
• Extraction dune région ( Blob )
• Bounding rectangle
• Vecteur direction
• Ajout de bruit
• - Déclenchements aléatoires stoppés si Olivia
  rentre dans la zone de captation
• Vidéo-projection de limage traitée

12
2. Patch Caméra  Plafond 
13
2. Plateau segmenté

• - Plateau segmenté en 8 zones.
• Chaque zone déclenche une partie du texte
• Le texte affecté à chaque zone évolue dans le
  temps, lorsque toutes les zones ont été
  déclenchées.
• Bruit ajouté dans limage par EyesWeb gt
  nombreux déclenchements aléatoires.
• Olivia prend le pas sur le bruit lorsquelle
  entre dans la zone de captation
• Samples envoyés dans Delays avec feedback -gt
  construction dun matériau sonore.

1
2
5
6
8
3
12
7
4
7
8
11
6
5
10
9
14
3. Tractation

• Calcul de lénergie du corps dOlivia sur le
  PPRA et la position du centre de gravité.
• L énergie contrôle le point de lecture dans le
  fichier son (buffer)
• La vitesse de lecture dépend aussi de la
  position dans le buffer
• Si lénergie est inférieure à un seuil donné, le
  point de lecture se fige et varie légèrement
  autour de sa position darrêt.
• - Sogs -gt RM

15
4. Son plateau

• 2 capteurs Accusound sous le plateau.
• Le son est traité successivement avec des
  filtres résonants, puis de la RM.
• Le son des capteurs est amplifié jusquau larsen
  contrôlé depuis la console.

16
5. Final

• Retour de Sogs
• En fonction de lénergie du corps dOlivia, on
  avance dans le buffer très vite
• Le son part dans des delays, dont le temps de
  delay varie abruptement,
• Chaque delay est envoyé dans une enceinte.