Calibrare - Extragerea automata a punctelor - Februarie, 2003

1
Calibrare- Extragerea automata a punctelor
-Februarie, 2003

• Vilmos Zsombori (v.zsombori_at_gold.ac.uk)

2
cuprins

• Parametrii de calibrare
• modelul camerei
• matricea de proiectie
• distorsiuni
• Algoritmi de calibrare
• Zhang
• Bouget
• Automatizarea extragerii punctelor de control
• pouncte de control AICON
• tabela de sah
• Referinte

3
param. de calibrare modelul camerei

• Model simplu Pinhole
• Plan Imagine Z1 (f1)
• Proiectie
• Reprezentare prin coordonate omogene

4
param. de calibrare matricea de proiectie
intrinseci K
proiectie
extrinseci

• P matrice 3x4, matricea de proiectie
• intrinseci 5 (fx, fy, cx, cy, s)
• extrinseci 6 (R, T)
• simplificari la initializare
• (cx, cy) ? centru
• s ? 0 (pixeli rectangulari)

5
param. de calibrare distorsiuni
K1,K2 schimbare în functie de distanta focala
6
algoritmi de calibrare Zhang

• algoritmul lui Zhang
• listam un sablon pe care fixam pe o suprafata
  plana
• facem câteva poze despre modelul plan, având
  orientari diferite, miscând sau camera sau
  sablonul
• detectam puntele de control pe imagini
• estimam cei cinci param. intrinseci si param.
  extrinseci, urmat de o optimizare neliniara
• estimarea coeficientilor de distorsiune radiala
• fecem o optimizare a tuturor parametrilor prin
  minimizare neliniara

7
algoritmi de calibrare Zhang homography

• corespondenta lt-gt
• Z 0
• homography ,
• R matrice de rotatie (ortogonal)

8
algoritmi de calibrare Zhang ctd.

• solutie initiala
• fie
• cu restrictii
• sistem supradeterminat 2n x 6 avem solutie unica
  pentru n mai mare sau egal de 3
• pseudosulutie în sensul celor mai mici patrate

9
algoritmi de calibrare Zhang ctd.

• optimizare maximum-likelihood
• reproiectare punctul Mj imaginea i
• minimizarea functionalei se face prin metoda
  Levenberg-Marquardt, fiind o minimizare neliniara
• estimarea distorsiunilor radiale
• având n imagini cu câte m puncte sistem cu 2mn
  ecuatii
• se rezolva în sencul celor mai mici patrate
• optimizare globala neliniara

10
algoritmi de calibrare Zhang ctd.

• caz degenerat
• o imagine se obtine din celalalt numai prin
  translatie
• nu adauga constrângeri la sistemul initial,
  constrângerile fiind bazate pe propr. matricii de
  rotatie
• alte probleme care se mai pun
• estimarea initiala a matricii H (homography)
• minimizare neliniara
• extragerea parametrilor intrinseci din matricea B
• aproximarea lui R printr-o matrice de rotatie
• datorita erorilor, matricea R obtinut prin
  calcule nu va fi o matrice de rotatie
• aproximarea se face în sensul celei mai mici
  norme Frobenius a difetentei
• solutie singular value decomposition

11
algoritmi de calibrare Bouget

• algoritmul lui Bouget
• detectarea punctelor de control pe imaginile de
  calibrare (punctele de control fiind colturile
  unei tabele de sah)
• calcularea matricilor H (homohraphy) pentru
  fiecare imagine folosind algoritmul
  Levenberg-Marquardt pentru minimizare
• estimarea param. extrinseci (neglijând
  distorsiunile)
• optimizarea param. intrinseci
• recalcularea param. extrinseci pentru fiecare
  imagine
• optimizare globala luând în considerare si
  distorsiunile

12
automatizarea extragerii punctelor de control

• puncte de control tip AICON
• avantaj
• posibilitatea de identificare unica prin
  histograma radiala
• dezavantaj
• proiectie elipse
• ellipse detection/fitting costisitor
• tabela de sah
• avantaj
• mai usor de detectat prin functii de potential si
  operatori diferentiali
• dezavantaj
• corespondenta

13
puncte de control AICON ctd.

• algoritm stabil (numeric) de ellipse-fitting
• ecuatia
  ,
• puncte, restrictii
• sistemul de ecuatii ,
• ideea se separa termenii patratici de cele
  liniari

14
tabela de sah

• puncte de control colturi

15
tabela de sah

• detectarea colturilor, eliminarea regiunii
  irelevante
• câmp de forte
• energie de potential
• proprietate
• implementare nucleu de convolutie

16
tabela de sah

• obs.
• potential (intensitati) gt câmp scalar
• energie gt câmp scalar
• câmpul de forte gt câmp vectorial
• un punct initializat, care se misca numai sub
  influenta câmpului, satisface sistemul simetric

17
tabela de sah

• proprietati relevante în cazul nostru
• magnitudinea câmpului se anuleaza în colturi si
  sunt izolate complet de magnitudini mari
• zonele cu intensitati relativ apropiate dispar
• aceste proprietati sunt independente de
  orientarea sablonului
• probleme care apar
• magnitudinea poate sa se anuleze si în alte
  puncte (ex. mijlocul unei zone circulare)
• imagini saturate

18
tabela de sah

• operatori diferentiali

Fx
Fx2
Fy2
Fy
Fyy
Fxx
grad(Fy)
grad(Fx)
Fx2Fyy 2FxFyFyx Fy2Fxx
Fx2Fyy 2FxFyFxy Fy2Fxx
19
tabela de sah
20
tabela de sah

• solutie
• determinam alinierea punctelor
• eliminam pe cele care nu respecta alinierea
• interpolam pe cele care n-a prins câmpul
• iarasi probleme
• dreptele se proiecteaza ca si drepte, deci
  alinierea pe diagonala se pastreaza
• colturile nu se aliniaza exact din cauza
  distorsiunilor
• iarasi solutii
• validare de directii
• dupa orientarea gradientului
• gradul de suprapunere a dreptelor cu muchii
• dreptele se determina în sensul celor mai mici
  patrate

21
tabela de sah
22
tabela de sah

• algoritm
• determin câmpul de potential
• determin câmpul de forte gt magnitudinea
• stretching, binarizare, imaginea negativa
• etichetare gt puncte de control nominalizate
• pentru fiecare pereche de puncte nominalizate
• determin dereapta, determin proiectia tuturor
  celorlalte puncte
• pentru punctele extreme
• determin combinatia convexa gt segmentul de
  dreapta
• în functie de gradul de suprapunere cu imaginea
  muchii
• validez sau nu dreapta, etichetez acesta cu
  orientarea
• determin histograma de orientari, reetichetez
  dreptele
• validez punctele
• interpolez punctele lipsa

23
tabela de sah

• rezultate

24
tabela de sah

• parametri
• vecinatatea limita a câmpului gt viteza,
  saturatie
• aria maxima a punctelor izolate gt numarul
  punctelor considerate a fi colt initial
• distanta maxima a puntelor de drepte gt
  distorsiuni
• numarul minim de puncte pentru o dreapta
• gradul de suprapunere a combinatiilor convexe cu
  muchii gt distorsiuni

25
completari

• determinarea dreptunghiului maxim
• identificarea unica a punctelor pentru
  stereo-calibrare

26
ca sa nu termin asa sec...
27
ca sa nu termin asa sec...
28
ca sa nu termin asa sec...
29
ca sa nu termin asa sec...
30
ca sa nu termin asa sec...
31
ca sa nu termin asa sec...
32
referinte
1 Zhengyou Zhang A Flexible New Technique for Camera Calibration Technical Report MSR-TR-98-71, Microsoft Research, 2002
2 Peter F. Sturm, Stephen J. Maybank On Plane-Based Camera Calibration A General Algorithm, Singularities, Applications Computational Vision Group, Department of Computer Science, The University of Reading Whiteknights
3 Janne Heikkila, Olli Silven A Four-step Camera Calibration Procedure with Implicit Image Correction Infotech Oulu and Department of Electrical Engineering, University of Oulu
4 Radim Halir Numerically Stable Direct Least Squares Fitting of Ellipses Departament of Software Engineering, Charles University
5 David J. Hurley, Mark S. Nixon, John N. Carter Force Field Energy Functionals for Image Feature Extraction Department of Electronics and Computer Science, University of Southampton