?????? ??????? ?????? (SVM)

1
?????? ??????? ?????? (SVM)

• ??????? ?????? ???? ???????????

2
??? ????? ??????? ???????

• ????? ???? ?? ???? ??-?????, ??? ?? ???? ???? ??
  ????? ?????? ??? ??? ????? ?? ??????.
• ????? ??? ??? ?????? ?????? ???????? ???????.
• ????? ??? ??? SVM, ??? ???? ?????? ?????? ???????.

3
????? ???????

• "???? ????"

4
????? ???????

• ???? ???? ?????? ?????? ????

5
????? ???????

• ??? ???

6
????? ???????

• ??? ?? ???? ??????, ???? ?????? ???? ??? ????
  ?????

7
????? ???????

• ?????? ????? ???????? ??? ????? ?????????
• ????? ?? ???? ????

8
????? ???????

• ???? ?? ????? ?????? ?? ???? ???? ?????

????? ??? ???? ???? ????? ????? ?? SVM, ???? SVM
??????, ?? LSVM
9
????? ???????

• ??? "??????? ??????" ???? ?????????? ??????? ????

10
????? ???????

• ???? ??? ??? ??????
• ?? ???? ???? ????????????.
• ????? ????? ????? ????, ?? ?????? ???? ??
  ????????? ??????? ?"????".
• ????? ?? ????? ??????? ????? ??????.

11
????? ?????? ?????

• ?-n ??????

12
????? ?????? ?????

• ?????????? ???????
• ?????? ??????
• w x b 0
• w ????? ?????
• b ????? ?????
• x ?????? ??????

13
????? ?????? ?????

• ?????, ?? ????? ?????? ??? x ????
• ?? w x b ? 1 , ?? x ???? ???? 1
• ?? w x b ? -1 , ?? x ???? ???? -1
• ?? x ???? ???? ????, ??? ?? ?????? ?????? ????
  ????? ????

14
????? ?????? ?????

• ???? ????????? ???????

15
????? ?????? ?????

• ??? ?????, ??? ?????? ????? ?? w ?-b ???? ?-
• ???? ???? ???? ???????
• ?? ?????? ?????? ?????? ??????? ???????
• ???? ????? ????? ??? ??? ????? ????????

16
????? ??????

• ????? ??????? ????? ?????...

17
????? ??????

• ????? ?????? ????? ??
• ?? ??????? ????? ??
• ??

18
????? ??????

• ????? ??
• ??? ????? ?? ??? ?????
• yk(w xk b) ? 1 ???? yk ??? ???? ?? xk
• ???? ?????
• ??????? ??
• ?"? ???????? ?-x

19
????? ??????

• ????? ??
• ??? ????? ?? ??? ?????
• yk(w xk b) ? 1 ???? yk ??? ???? ?? xk
• ?? ????? ???????????
• ?????? ??????

M Margin
Predict Class 1 zone
w
Predict Class -1 zone
wxb1
wxb0
wxb-1
20
????? ??????

• ????? ??????

21
????? ??????

• ??? ????? ?? ?????? ??????

• ??? 1
• ??? -1

22
????? ??????

• ????? ?????? ??????? ?????, e1, , eR
• ??? ????? ?? ????? ?? ??????? ?? ??????? ??? ??
  ?????? ?????

e11
e2
w
wxb1
e7
wxb0
wxb-1
23
????? ??????

• ????? ??
• ???? C ??? ????? ????? ??? ???? ???? ????? ???????

e11
e2
w
wxb1
e7
wxb0
wxb-1
24
????? ??????

• ????? ??
• ?? ??"? ?????
• yk(w xk b) ? 1-ek ???? yk ??? ???? ?? xk
• ek ? 0 ??? xk

e11
e2
w
wxb1
e7
wxb0
wxb-1
25
????? ??????
???? ??
?? ???????
??? ??????????? ?? f()
26
????? ?? ???????

• Kernel Trick-22

27
????? ?? ???????

• ??? ???? ??????? ?????
• ???? ???? ?? ???? ???

28
????? ?? ???????

• ?????? ??? ???? ??? ????? ???

29
????? ?? ???????

• ??? ?????? ???? ?? ???? ?????? ???????!!!
• ?? ??, SVM ?? ??? ???? ??? ?? ???????

30
????? ?? ???????

• ???? ?? ??????? ???-??????? ???-?????
• ?"? ???????? F

31
????? ?? ???????

• ????? ?????? ??? ??? ??? ????

32
????? ?? ???????

• ????? ??
• ????? ?? ?????? ?? ??"?
• yk(w f(xk) b) ? 1 ???? yk ??? ???? ?? xk
• ek ? 0 ??? xk
• ???? w ????? ????? ??????

33
????? ?? ???????
???? ??
?? ???????
??? ??????????? ?? f()
34
????? ?? ???????

• ????? ????? ???? ???? ?????? "?????" ?????? ??
  ?????????
• ????
• ???? ????? 256 (??? ?????)
• ????? ????? ??????? ?? ???? 5
• ???? ???? ??????
• ??? ?? ??????? ?? ???? ???????

35
????? ?? ???????

• ???? ?? ?? f ?????? ?? ??????? ???????
• ?????, ?????
• f() f()
• ???? ????? ?????
• K(,)
• ???? K(,) ??????? ????? ????? ?????? ????? ??????
  ?????? ???? ??????? ????? ????.
• K(,) ????? ???????? ??????.

36
????? ?? ???????

• ?? ?????? ??? ????? ???????? ????? ?????.
• ????????? ??????? ?? ??????? ???? ??
• ???????
• ?????????
• RBF
• ????????
• ???? g ??? ????? ????? ???? ????? ????

37
????? ??????
???? ??
?? ???????
??? ??????????? ?? f()
38
SVM ???????????

• Phosphorylate This!

39
SVM ???????????

• ????? ?????? ?????? ??? ?????? "??????", ??? ??,
  ?? ?????
• ???, ????? ??????????? ?? ????? ??? ???? ?????
  ????? ???

40
SVM ???????????

• ???? ??????, ?? ???? ??? ?????? ????? ????? ?????
  ????? ?????????.
• ?? ?? ???? ???????????, ????? ?????? ???????????.
• ?? ????? ????? ????? ??? ??? ????,
• Jong-Hun Kim, Juyoung Lee, Bermseok Oh, Kuchan
  Kimm, InSong Koh
• Prediction of phosphorylation sites using SVMs
• Bioinformatics 20(17) 3179-3184 (2004)

41
SVM ???????????

• ??????? ??"? ???? ?? ?????? ?-SVM-?? ?????? ?????
  ???????????.
• ??? ???? ?? ??????, ?? ?????? ??????? ????
  Phospho-Base, ???? ?????? () ???? ????? ?????
  ?????? ?? ????? ????? (?????)

42
SVM ???????????

• ????? ??????
• ??? ????? ????? ?????? ?????? ??????? ?? 20
  ?????. ?????, ????? ?? ???? ?? ????? ????? n
  ?????? ????? ??? 20n ?????

methionine 10000000000000000000
isoleucine 01000000000000000000
00100000000000000000


00000000000000000001
42
43
SVM ???????????

• ?????? ??? ???? ???? ???? (), ?? ???? ????? ????
  ??? ?????, ?????? ?????? ????? ?? ?????? ??????.
• ?? ??? ??????? ???? ?? ?? ?????? ??? ???????

44
SVM ???????????

• ?????? BLOSUM62
• ??????? ???????, ????? ????? ?? ???????? ???
  ?????? ????? ????? ??????? ?????? ????? ??????.

45
SVM ???????????

• ?????? BLOSUM62
• ??????? ????? ?????? ??????? ????????? ??????????
  ???? ????????? ??????? ?? ??????? ?????.

46
SVM ???????????

• ??????? ??????? ?????? ????? ??? ??????? ??
  ?????? ?????
• ?????? ?? ?? ?"??????" ?? ?????? ????????, ???
  ????? (????? ??? -9) ???? ??? ?? ????? ??
  ???????? ?????? ?????.

47
SVM ???????????

• ??????? ???? ?????? ??"? ??? ???? ?? ???? ?-()
  ??????? ?????, ??????? ??? ????? ?????? ???
  ?????? ?? ?????? ??????.
• ????? ??????, ?????? ?? ?? ?????? ??, ????? ????
  ?-() ?????? ???? ?? 1.5-2.0 ????? ???? ?-().

48
SVM ???????????

• ???? ????? ????? ??????, ??? ???? ????? ???????
  ??????????. ?????? ????? ??
• ???? ???? (3-25 ?????)
• ???????? ????? ????? (??????, ????????, RBF,
  ????????)
• ????? g ???? ????????? ?????? (0.4, 0.04 ?- 0.04)
• ????? ????? C (1 ?-500)

49
SVM ???????????

• ??? ??, ????? 10 ?????? ???????? ?? ???? ()
• ??"?, ??????? ???? 63223108280 ????????????
  ?????, ??? ????? ?? ???????????? ?????????? ????
  ?? ????? ?????? ??????.

50
SVM ???????????

• ??? ????? ?? ????? ???? ????? ???? ????? ??????
  ??????.

51
SVM ???????????

• ??? ????? ?? ????? ???? ????? ???? ????? ??????
  ??????.
• ????? ????? Scansite, ??????
• ???? ????? CK2 ??? ????? ???? 2 ????
• ???? ????? PKA ??? ????? ???? 5 ????
• ????? ?? ????? ????, ?? ?? ????? ?? ??? ???.

52
SVM ???????????

• ????? ??? ??? ?????
• ?? ???? serine, threonine, tyrosine ??? ?? ???
  ?????? ?-PhosphoBase ????? ???? ().
• ?? ????? ?????? ??????? ?????? ?? ???? ?????
  ??????.
• ?? ????? ????? ?? ???? ??????? ?? ????????????
  ?????? ???? ??? ()\().

53
SVM ???????????

• ??????
• ???? ???? ???? ???? ?? ??? ?????? ???? ?? ????
  ?????? ???? ?????? ??????.
• ???? ????? ?????? ???? ???? ????? ?????? ???? ()
  ??????.
• ??? ?? ???? ???? ???????? ????? ????????
  ??????????? (????? ?-BioSVM ?? ???? ??'??).

54
???? ???!