Pengenalan Pola Berbasis Neural Network - EL 424

1
Pengenalan Pola Berbasis Neural Network - EL 424

• Budi Rahardjo
• Jurusan Teknik Elektro ITB

2
Intro

• Kuliah ini merupakan bagian dari kuliah
  pengenalan pola (pattern recognition) secara
  utuh. Bagian ini hanya membahas Artificial Neural
  Network (ANN) - Jaringan Syaraf Tiruan
• Dikarenakan banyak yang belum mengenal neural
  nets, maka kuliah akan dimulai dengan introduction

3
Pentingnya Neural Computing

• Jenis komputasi baru yang diharapkan dapat
  mengatasi kelemahan sistem komputasi konvensional
  yang berbasis von Neumann machine.

4
John Louis von Neumann

• 1903 - 1957
• Mencetuskan von Neumann architecture yang
  menjadi basis dari sisten komputer modern (saat
  ini)

http//ensiklomedia.insan.co.id
5
Von Neumann architecture
Arithmetic unit(ALU)
Contol unit
Internal bus
Intenal (main)memory
Input/output unit(I/O unit)
Central Processing Unit (CPU)
External bus
Secondary memory(magnetic wire)
Teletype(keyboard/printer)
CRTgraphics display
6
Kelebihan von Neumann machines

• Fast arithmetic
• Doing precise what the programmers programm them
  to do

7
Kelemahan von Neumann machines

• Peka terhadap noise.
• Data struktur harus dalam format yang precise
• Sulit mengimplementasikan massive parallelism
• Tidak fault tolerant. (Misal memory rusak,
  program berantakan.)
• Sulit beradaptasi dengan keadaan

8
Latar Belakang Neural Computing

• Melihat kemampuan manusia dalam memproses
  informasi, mengenal wajah, tulisan, dsb. Melihat
  wajah dari sudut pandang yang belum pernah
  dialami sebelumnya.
• Bahkan anak-anak dapat melakukan hal tsb.
• Masih belum tahu algoritma yang digunakan.
• Melihat analogi biologis.
• Otak manusia berisi kira-kira 20 billion (210)
  nerve cells.

9
Latar belakang (2)

• Dipercayai bahwa kekuatan komputasi otak terletak
  pada
• hubungan antar nerve cells,
• hierarchical organization,
• firing characteristics,
• banyaknya jumlah hubugnan

10
Harapan atas Neural Comp.

• Membantu dalam pemecahan masalah yang
• Algoritmanya tidak diketahui secara pasti
• memiliki banyak contoh
• ingin diketahui strukturnya dari contoh-contoh
  tsb.

11
Arsitektur Komputasi Neural

• Memiliki beberapa hal yang menarik
• komputasi lokal,adaptive interaction between
  elements
• paralel
• simple processing elements
• high degree of interconnections
• masalah sering direpresentasikan dalam struktur
• memungkinkan implementasi hardware (VLSI,
  optical)
• Biological computation?

12
Physical Neuron (1)
13
Physical Neuron (2)
14
Physical Neuron (3)

• Komponen utama biological neuron
• Soma
• Axon (output)
• Dendrites (input)
• Synapse hubungan axonic nerve fiber dengan soma
  atau dendrite dari neuron lain
• Sebuah neuron memiliki 1000 s/d 10.000 synapes

15
Aplikasi ANN

• Business applications
• predict movement of stocks
• marketing
• Other applications
• signature analysis (implemented in chip)
• Pen PC, writing -gt ASCII
• Speech and vision recognition systems
• Process control

16
Definisi ANN

• A Neural Network is an interconnected assemply of
  simple procesing elements / units / nodes, whose
  functionality is loosely based on the animal
  neuron. The processing ability of the network is
  stored in the inter-unit connection strengths, or
  weights, obtained by a process of adaptation to,
  or learnig from, a set of training patterns.
• K. Gurney_at_aivru.shef.ac.uk - http//www.shef.ac.uk
  /psychology/gurney/notes

17
Konsep Dasar Artificial Neural Computing
1 if x1w1 x2w2 x3w3 bias wb gt 0 0 if
x1w1 x2w2 x3w3 bias wb lt 0
x1
w1
x2
w2
x3
w3
Processing Unit Linear Threshold Unit
wb
bias
input
18
Konsep Dasar (2)

• Contoh sebelumnya
• output activation level, umumnya tidak harus
  begitu (ada processing lagi)
• Processing hanya berbentuk threshold, dimana
  dalam contoh menggunakan 0 (nol). Threshold bisa
  ?
• Perceptron, single layer

19
Konsep Dasar (3)

• ANN sederhana dapat digunakan untuk
  mengklasifikasikan pola ke dalam 2 kelas
• Vektor input x, diberikan oleh x1, x2, xn,
  adalah input stimulus yang mewakili atribut
  (feature).
• Feature
• intensitas cahaya (visual)
• spektrum power (gelombang suara)
• temperatur, kelembaban (besaran fisik lainnya)
• umur, penghasilan, pengeluaran (pemohon kredit)

20
Perceptron

• Learning rule
• Change the weigth by an amount proportional to
  the difference between the desired output and the
  actual output
• ? wi ? (D-Y) Ii? learning rateD desired
  outputY actual output

21
Perceptron (2)

• Setelah stabil, (D-Y) 0
• Hasilnya (untuk 2 input) decision surface line
• I1 (w0 / w1) . I0 (wb / w1)

I1
I0
22
Processing Unit

• Menentukan output berdasarkan activation level
• Threshold
• Sigmoid function
• Gaussian

23
Processing Unit (2)

• Sigmoid function dengan berbagai harga k

24
Multi-Layer
x1
x2
x3
bias
hidden layer
output layer
input layer
25
Learning

• Hebbian rule
• Jika dua cells fire pada saat yang bersamaan,
  hubungan antar keduanya (strength of connection)
  harus ditingkatkan.
• Macam-macam caranya, misalnya meningkatkan bobot
  hubungan berdasarkan activation level
• ? wij ? ai aj

26
Learning (2)

• Delta rule Ubah weight sesuai sehingga
  mengurangi kesalahan (perbedaan antara activation
  level yang diinginkan dan yang diperoleh).Sering
  juga disebut Widrow-Hoff (1960) learning rule
  atau Least Mean Square (LMS) rule.
• ? wij ? ei aj
• error for unit i ei tj - aj

27
Learning (3)

• Contoh halaman 87-88 buku PDP
• Solusi dapat terjadi jika ada set dari weights
  yang memecahkan solusi itu. Syaratnya adalah yang
  disebut linear predictability constraints

28
Hidden Units

• Sebelumnya telah dibahas pattern associator, dan
  delta rule.
• Jika output berupa linear threshold unit, maka
  disebut perceptron.
• Jika pure linear, disebut Least Mean Square (LMS)
  associator.
• Ada theorems pattern classification.
• Input bisa diklasifikasikan menjadi dua kelas.

29
Hidden Units (2)

• Perceptron learning rule
• Net input sum dari wi ii
• Jika net gt threshold, unit turn on
• Respon dibandingkan. Jika kategori betul, no
  change
• Jika output turn on padahal mestinya 0, maka
  threshold 1. Jika input ii 0, tidak ada
  perubahan wi, tapi jika ii 1, maka wi dikurangi
  1.
• Jika output turn off padahal mestinya 1, maka
  sebaliknya, threshold dikurangi and weight
  ditambah.

30
Hidden Units (3)

• Minsky Papert (1969) membunuh Perceptron dengan
  contoh bahwa sistem ini tidak dapat memecahkan
  masalah XOR
• Inequalities yang harus dipecahkan pp. 123
• Tidak linearly separable di dua dimensi
• Harus menggunakan 3 dimensi

31
Hidden Units

• Ada unit yg tidak terhubung ke input/output
• Bagaimana cara belajarnya?

32
Minimizing Mean Square Error

• LMS procedure, latar belakang
• Error function, must be minimized.
• Setelah setiap pattern dipresentasikan, error
  dari pattern dihitung, dan weigh di moved down
  mengikuti error gradient mendekati harga minimum
  untuk pattern tersebut.

33
Minimizing Mean Square Error

• Gradient Decent make a change in the weight
  proportional to the negative dreivative of the
  error, as measured on the current pattern with
  respect to each weignt

34
(No Transcript)
35
Referensi

• Buku
• James L. McCLelland and David E. Rumelhart,
  Explorations in Parallel Distributed
  Processing, MIT Press, 1988. ISBN
  0-262-63113-X(pbk.)
• Introduction
• http//www.cs.stir.ac.uk/lss/NNIntro/