KAIST ??????, ?????

1
?????? ??? ???? ??
??? KAIST ??????, ?????
2
2??? ?? ??
???? ?????? ?? ???? ???? ?? ??/?? ??? ? ????? ??
1???
???? ?????? ?? ??? ???? ?? ?? ??? ? ????? ??
2???
??????? ??? ?? ??? ??? ???? ?? ??? ? ????? ??
3???
3
???? ?? 2??? ??
?????
????
- What path ???? fMRI ?? - What path ?? ?? ???
?? ??? ???? ?? ???? ?? ?? ??
??/?? ?? ???? 3D ????
3?? ???? ??? ??
???? ?? ?????
????
????
- ?? ??/?? - ?? ??/??
?? / ??
??
????
??? / ??
3D ??????
- Where path ?? ?? ?? ?? ?? ?? ??, ???
?? ?? ?? - Where path ???? ???? ??
???? ???? ?????
Saccade Vergence
- 3D ??? ?? - ??? ??/??
????
?? ?
??? ???? ???? ??
??? ???? ?????
- ?? ??? ????? ?? ?? ?? 3D ???? ??? ?? ????
?? - ??????? ?? ??? Actuator??

• - ??? ? ??
• ??? ? ??
• (256x256)

- ???? ?? - ???? ???
4
2??? ?? ?? ??
??
What pathway ???? ?? ?? ? 3?? ???? ?? ?? ? ???? ??

• 3?? ?? ?? ? ?? ??? 90 ?? (1??? 80)
• ?? ?? ? ?? ??? 90 ?? (1??? 80)
• ?????? ?? ?? ?? 15 ??
• ??? ?? ?????? ?? ?? 5 ??

1??? 2002
3D ???? ?? ??

• What pathway ? ???? ?? ?? (fMRI??)
• ??? ?? ?? ???? ??
• ???? ??? ??
• ?? ??/?? ?? ??? ??
• 3?? ???? ??? ??

2??? 2001
3D ???? ?? ??
3??? 2003
3D ???? ?? ??, ?? ? ?? ??
5

• 2??? ????

What pathway ?? (?? ??)
3?? ???? (5)
?? ??/?? (4)
3D ??? ??????
Invariance Learning
? ?? ??? 90
3D ???? ???
? ??? 90
? ????? 90

• ??? 90

???? (2)
?? ?? (3)
What Pathway ?? ?? (1)
6
????
What pathway ?? ? ???? ??
???

• ?? ? ?? ??
• ?? ?? What pathway ?? ? ???? ?? ?? ??
• ????? ???? what pathway? ?? ??
• ?? ?? Radial frequency? ?? ??? synthetic face?
  ??? ??? ??? ?? fMRI ??
• V4, IT?? ?? ??? ??? ?? ?? ?? - features defined
  by radial frequency
• real face ?? ?? ??? ???? ?? - synthetic faces ??

??????
V4, IT ?? ?? ?? ??(fMRI)
7

• ????

processing
receptive field
optimal stimuli
what pathway
highest level response specificity, showing
tuning for complex pattern (e.g. face)
intermediate level what information would be
used and how these information would be combined
for pattern (complex) recognition?
non-Cartesian stimulus
spatial or radial frequency?
non-Fourier stimulus
low level filtering through a bank of local
linear filters
Fourier stimulus
8

• ???? (1)
• Radial frequency? ?? ??? synthetic face? ??? ???
  ??? ??
• fMRI ??

synthetic faces ??
face? ??? ??? ??? ??
Fixation Cross (Fix)
Real Face (RF)
Synthetic Face (SF)
18 sec
Fix
SF
18 sec
18 sec
RF
Fix
Fix
Fix
9

• ???? (2)
• ????? ??? ??????? ???

????? ???????? ???? Primary Visual Area?
Fusiform Face Area (FFA)?? ???
10

• ???? (3)
• ????? ??? ??????? ???
• ?? ????

RF-SF red, SF-RF green, uncorrected plt0.001,
voxel 10
????? ???????? ??? ??? Primary Visual Area? V4v
???? ??? (FFA??? ???? ??)
radial frequency??? real face??? ?? ???? ??? ???
?? ??
noise? ??? synthetic face? ?? V4v, FFA?? ?? -
????? synthetic face? ?? ??
??, ??? synthetic face? ?? V4v, FFA?? ?? - ?????
synthetic face? ?? ??
11
???? ???
??? ????? ?? ????

• ?? ? ????
• ?? ?? ???? ? ?? ??? ??? ??? ???? ?????
• ?? ?? ??? ???? ?? ??? ???? ???? ??
• Bottom-up ???? ? ???? ?? ?? ??
• ?? ?? ?? ???? ??? ??
• Saliency map ??? ?? ??
• Top-down ??? ?? ???????

12

• Bottom-up ???? ? ???? ?? ?? ??

• ?? ?? ?? ???? ??? ??

5? ?? ???
13

• Saliency map ??? ?? ??
• Feature map Intensity, Edge, Symmetry, Color
• Face detection by neural network learning

• Simulation

14

• Top-down ??? ?? ???????
• ICA? ??? ?? ?? ???? ??
• ?? ??? ??? ?? ??
• - ?? ????? ??? ???????? ??? ??
• ????? ??
• ??, ?? ??? ??? ?? ?? ??
• - ??? ??? ??? ??? ??? ????? ??? ??? ??? ??

?? 1
?? 2
????
???
????
???
????
????
????
15
?? ??/?? ??? ?? Neural Model ??
???? ???

• ?? ? ????
• ?? ?? ? ??(enhancement)? ?? ??? ?? ? ??
  ??(image segmentation) ??? ?? ??
• What pathway ?? ???? ?? ?? ??? ???
• ????? ????? ?? ??? ??? ?? ? ??
• ?? ? ???? ??? ?? ??? ?? ?? ??

?? ?? ??? ?? ??
???? ??? ?? ??
???? ??
?? ?? ??
Gabor Filter? ??? ?? ?? ?? ?? ??
SOFM ??? ??? (Unsupervised) ?? ??
?? ?? ???
?? ?? ???
Recurrent ???? ??? ????? ??? ??? ?? ??
3?? ????? CSNN? ??? ????
?? ?? ???
???? ?? ??
???? ??????? ??? ????? ?? ? ????? ????
????? ?? ???? ?? ??? ??
16
?? ?? ? ??? ?? ??? ??
?? ????(Visual cortex)? ?? ??/?? ?? ??
- Gabor Filter? ?? ?? ?? ??
- ??? ??? ?????? ?? Recurrent ??? ??
- Lateral inhibition/excitation ??? ?? ???? ??
???? ???? ??
????? ?? ??? ?? ??
??? CSNN(Constraint Satisfaction Neural Network)
??? ???? ?? ??

• SOFM(Self-Organized Feature Map)? ???
• ?? ?? ?? ??

- Segmentation? ?? 3?? ??? ?? ??

• Self-feedback? 3?? neighborhood? ???
• ??? ??

???? ???? ??
17

• ?? ??

?? ?? ? ??? ?? Recurrent ??? ?? ??
??? CNN ??? ?? ?? ??? ?? ??
Gabor Filter? ??? ?? ?? ?? ?? ??
???? ???
???? ???
?? ???? ?? ??? ?? ?? ??? ??
SOFM ??? ???(unsupervised) ???? ?? ??
3?? ?? ??? CSNN? ??? ?? ?? ?? ??
18
???? ???
?? ?? ? ?? ??? ??

• ?? ??
• ?? ?? ?? ??/?? ??? ??
• ?? ?? ?? ?? ??? ??
• PCA, PCA ?? ??, LDA, LDA ?? ?? ?? ? ??
• LDA ?? ??? ??? ?? ?? (????)
• Test error 12.78

?? ?? ??? ????
PCA ?? ?? ?? ??
PCA / LDA ?? ?? ?? ??
???? ??
?? ??/??
19

• ?? ??
• Feature ? 35? ?? PCA ?? ?? ?? ??
• Feature ? 35? ?? LDA ?? ?? ?? ??

Classification errors vs. the number of features
Test Set Example
20

• ????
• ?? ??? ??? ??
• ?? ?? ??
• ?? ?? ??? 90 ??
• ??
• ?? ?? ???? ??, ?? ? ??
• ?? ? ?? ??????? ???? ?? ??
• ??? ?? ??

Table1. The best performance and the
corresponding number of features
21
???? ???
3?? ???? ??? ??

• ?? ? ?? ??
• ?? 3D ?? ??? ?? ??? ?? ?? (??? 90 ??)
• ?? 3D ??? ??? ????? ?? Invariance ???? ??
• ? ??? ?????? ? ??? ??? Invariance ?? ??
• ?? ??? ??? ??? ???? ??? ??

Learned basis
Input image
Activation
???? ??
?? ???
?? ??
22

• ?? ? ?? ??
• IT ???? ???? ??
• ????? ?? IT?? ?? 2D??? ??? ???? ???? ??
• ???? ??? ??? ???? ??? ??
• ??? 3D ???? ? ??? ??? ???? ??? ?? ??
• ???? ????? ??? ISA(independent subspace
  analysis)??

?? ??? (unsupervised learning)
3D models
rendering
??? ??? set
IT ???? ??(??)
23

• ???? ??? ??? 3D Viewpoint Classification ?? ??
• ???? ??? Activation ?? ???? ?? ??? ?? ??
• Viewpoint ?? ??? 90 ??
• 21? viewpoint (15???, ??3 x ??7 ??)? ??/??
• ???? ?? View classification ??? ??/????? set
  3000 image, ??? set 3000 (289 error / 2953 test
  image)

?? ??
2D ???? 3D ??
V(i,j)
WTA
3D ?? ??/??
?????? ?? (log scale) - ?? ???? ??? ?? ??-
Viewpoint Classification ??? ??
24

• ???? ??? ??? 3D Viewpoint Invariance ?? ?? ??
• ??? 3D ??? ?????? ?? ?? ??? ??/??
• ??? ?? ?? ?????? ?? ?? ?? ??
• ???? ???? ?? activation ??? temporal association
  ?? ??
• ?? ??/?? ??? ?? ? ?? ??
• ???? ?? Training set 240 image? ???, Test set
  50 image ??
• 15? ??-gt?? ?? ? correlation ??? ?? 0.83, SNR ??
  10.25dB
• 30? ??-gt?? ?? ? correlation ??? ?? 0.73, SNR ??
  4.5dB
• 45? ??-gt?? ?? ? correlation ??? ?? 0.64, SNR ??
  1.4dB

????? ??????
Activation
Input
Temporal Association Learning
?t
Wij(k,l)
3D ????? ?? Invariance ?? ???
25
?? ???
??
? ?? ??? ??? ?? ??? ??

• ??? ?? ?? ??? ??? ?? / ???? ??? ???? ?????? ??
  ?? ??? ( 6??? Head/Eye ???)
• ?????? ????? ?? ??? ???? 3?? ??? ?? ??
  ??? ??
  ?? ??? ??
  (?? ?? ?? 0.5 pixel ??, ?? ?? ??)
• ?? ??? ????? ????? ??? ??? ?? ?????? ??
  (?? ?
  ?? ??)

1??? 2001

• ??? ?? ?? ???? ???/??? ?? (1??? ????)
• ?????? ?????? ???? ?? (????, ??? ??, ????
  ??)
• ???? ??? ?? ??? ???? ????? ????? ??/??

?? ??? ??
2??? 2002
?? ??? ??
3??? 2003
?? ??? ??/??
26

• ??? ?? ?? ?????
• ??? ? ??? ??
• ?? ?? ???? ??? ? ??? ??
• ?? ?? ???? ??? ??

??? ?? ?? ??? ??

• ???? ?? ?????
• ?????? ??
• ??? ?? ? ??
• ???? ??

???? ????? ??

• ???? ???? ?????
• ????(????)?? ? ????
• ???? ??? ?? ??????
• ???????? ??? ? ????

???? ???? ?? ????
27
??? ?? ?? ???

• ??? ?? ?? ?????
• ?? ?? ??
• ?? ?? ??
• ?? ?? ???? ??? ? ??? ???
• ???? ??? ?? ?? ?
• ?? ?? ???? ??? ???? ?? ???
• ?? ?? ?? ?
• ?? ?? ???? ??? ?? ?

?? ?? ?? ? ??
?? ?? ??
?? ?? ??? ? ??? ? ??? ??

• ?? ?? ???? ??? ? ??? ??
• ?? ?? ???? ??? ??

28

• ?? ?? ???? ??? ? ??? ??
• ??? ?? ?? ??? ??? ? ??? ???

??? ?? ?? ??? ??
29

• ?? ?? ???? ??? ? ??? ??
• ??? ?? ?? ??? ?? ???

??? ?? ?? ??? ??
30
???? ?? ?????/?? ?? ??

• ?? ? ????
• ??? ??? ?????? ??? ?? ??? ??
• ?? ??? ?? ?? ??(Disparity Discontinuity) ?? ??
  ????
• ?? ?? ?? ?? ??(Multiple Match)??? ???? ?? ?? ??
  ??? ??
• ??? ?? ?? ??(Ordering Constraint)? ??? ?? ?? ??

??? ?? ?????? ??? ?? ??? ?? ?? ??
????????? ?? ?? ??
??????
??? ??? ??? ??
???? ??
?? ??
?? ?? ??
?? ?? ?? ??
??, ?? ?? ??
?? ???? ???
?? ?? ?? ??
?? ?? ?? ??
?? ?? ???? ?? ? ??
?? ??? ??? ??? ??? ??
31
?? ??? ??? ??? ????
?? ??? ???? ??? ??? ?? (Repeated Texture)
??? ?? ???? ??? ?? ?? (Homogeneous Region)
??? ?? ??? ?? ??? ??? ?? (Distinctive Region)
?? ??? ??
??? ????
?? ??
??? ?? ??
32

• ?? ??

Ground Truth
Disparity Propagation
Gray Scale ?? ??
Red ?? ??? ??? ?? pixel
33
?? ??? ???? ???

• ?? ??? ?? ?????? ??????? ?? ????? ?? ? ??
• - ???? ??? ?? ??????? ??
• - ??? ?? ?????? ?? ? ??
• ????
• - ???? ??? ?? ??????
• - ???????? ??? ? ????

• ???????

????
???? ??
???? ?? (?,?,?,..)
??? ?? ?? ????
?? ??
??DB
?? ??? ?? ??? ??
34

• ?? ??

• ???? ??? ?? ???? ??
• - ???? ??? ?? ??? ?? ? ????? ???
• - ??? ?? ?????? ?? ? ??? ?? ? ???? ???

• ???????

??? ???? ??
??? ?? ?????
???? ??
35

• ????(????)?? ? ????? ?? ??
• ?? ?? ?? ? ??? ??
• HRI ????? ?? ? ?? ??? ??, ???? ?????

?????? ?????
???? ????? ??????