Slayt 1

1
TÜRKÇE DOKÜMAN TANIMA SISTEMLERINDE KARSILASILAN
KARMASIK METIN SATIRLARININ TESPIT EDILMESI
PROBLEMINI ORTADAN KALDIRAN BIR GÖRÜNTÜ ANALIZI
YAKLASIMI
Hasan KARAL ve Emre UZUN Karadeniz Teknik
Üniversitesi Fatih Egitim Fakültesi, Bilgisayar
ve Ögretim Teknolojileri Egitimi
Bölümü hasankaral_at_ktu.edu.tr, euzun61_at_hotmail.com
2
GIRIS
Doküman tanima konusunda dünya genelinde yogun
bir akademik çalisma vardir. Bu çalismalar daha
ziyade el yazmasi karakter tanima üzerinedir.
Genel olarak doküman tanima sistemleri, günümüzde
birçok alanda genis kullanima hitap eden
teknolojiler arasindadir. Fakat bu amaçla
gelistirilen ve kullanilan yazilimlar çogunlukla
amaca hizmet etmekle beraber, karsi karsiya
kaldiklari bazi doküman biçimlerine cevap
veremeyebilmektedir.
01 / 26
3
GIRIS
Bu amaçla, karmasik bir satir yapisina sahip olsa
bile, analiz edilecek doküman resimleri üzerine
gelistirilen bir yaklasimla, metin basarili bir
sekilde elde edilebilmektedir. Çalismamizda
tarayici yardimi ile elde edilen karmasik yapida
satir biçimine sahip bir doküman resmi üzerinden,
analiz, tespit ve belirleme islemleri
gerçeklestirilmistir. Uygulanan islemler sirasi
ile açiklanacak ve örnek program görüntüleri
verilecektir.
02 / 26
4
YAZILIM SISTEM TASARIMI
ISLEM BASAMAKLARI Doküman resmi temel
görüntü analizi, Gri dönüsümü Esikleme
Bozulmalar için filtreleme Satir
görüntülerinin sekil haline dönüstürülmesi ve
koordinat tespiti, Genisletme islemi
Çerçeve eliminasyonu Her satirin tespit
edilmesi ve çevre koordinatlarinin
belirlenmesi Çevre koordinatlari tespit edilen
her satir resminin, orijinal satir
görüntülerini içeren doküman resminden
alinmasi Elde edilen her satir için açisal
satir analizi, Orijinal doküman görüntüsünden
alinan satir resimlerinin, egim
durumlarina göre dogrusal hale getirilmesi
03 / 26
5
DOKÜMAN RESMI TEMEL GÖRÜNTÜ ANALIZI
Çalisma boyunca üzerinde islem yapilmis olan ve
gelistirilen görüntü analizi yöntem ve
algoritmalarin islerliginin üzerinde test edilmis
oldugu karmasik satir yapisina sahip doküman
resmi Sekil 1de görülmektedir.
Sekil 1. Karmasik satir yapisina sahip görüntü
analizi doküman resmi
04 / 26
6
DOKÜMAN RESMI TEMEL GÖRÜNTÜ ANALIZI
Ilk gerçeklestirilecek islem, doküman resmi
üzerindeki 8 bit gri ölçekleme dönüsümüdür.
Böylelikle resim, üzerinde daha hizli islem
yapilabilecek düzeye indirgenir. Daha sonra gri
tonlu parlaklik seviyesine sahip olan piksellerin
esikleme islemine tabi tutulmasi ile, doküman
resmi siyah/beyaz biçimine dönüstürülür ki,
böylelikle ikili veriler (1-0) üzerinde çok daha
hizli bir sekilde yapilan islemlere cevap verir.
Ancak bu islemler sonucunda metin görüntüsü
üzerinde kalan ve analiz sirasinda yazilimi
yaniltma olasiligi olan anlamsiz bozulmalari
gidermek gerekmektedir. Bu amaçla bir filtre
uygulanmistir.
05 / 26
7
DOKÜMAN RESMI TEMEL GÖRÜNTÜ ANALIZI
Sekil 2 bu baslangiç islemleri sonucunda doküman
görüntüsünün son durumunu göstermektedir.
Sekil 2. Baslangiç düzeyi temel görüntü analizi
06 / 26
8
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sirada doküman resmi üzerindeki satir
görüntülerinin tespit edilmesi ve resimden
alinmasi islemi vardir. Sirasi ile tespit
edilerek alinan satir görüntülerinin her biri
için dogrusal analize hazirlik olmasi nedeniyle
açisal analiz islemi uygulanmistir. Uygulanan
islem biçimi su seklidedir. Satir görüntülerinin
ayri ayri birbirine karismadan tespit edilmesi
için, her satirin kendi basina bir sekil
olusturmasi yaklasimindan baslamak sartiyla,
satirlar yine görüntü isleme algoritmalari
yardimi ile genisletilir. Kontrollü olarak
gerçeklestirilen belirli bir orandaki genisletme
isleminden sonra Sekil 3te görüldügü gibi, artik
satirlar bilgisayar mantigina uygun sekilde
karismadan birbirinden görsel olarak
ayrilmislardir.
07 / 26
9
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sekil 3. Genisletme islemi sonrasinda karmasik
metin satirlarinin görsel olarak ayrilmasi
08 / 26
10
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Burada bir problem vardir. Uygulanan genisletme
filtresi nedeniyle doküman resmi etrafinda bir
çerçeve olusmustur. Fakat basit görüntü isleme
yöntemleri ile bu çerçevenin ortadan kaldirilmasi
kolaylikla saglanmistir. Sapma ve bozulma
göstermeden filtrenin görüntü üzerinde kaç kez
uygulandigina bagli olarak ortaya çikan bu
çerçevenin silinmesi sonucunda elde edilen
dokuman görüntüsü Sekil 4te görülmektedir.
09 / 26
11
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sekil 4. Çerçeveden bagimsiz ve görsel olarak
rahatlikla birbirinden ayrilmis satir
görüntülerini içeren doküman resmi
10 / 26
12
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sira görüntü üzerindeki bu nesnelerin baslangiç
ve bitis koordinat araliklarinin tespit edilmesi
ve bellekte hazir halde olan Sekil 2deki
görüntüden bu koordinat araliklarinin satir
görüntüsü olarak elde edilmesi islemlerindedir.
Sekil 4teki doküman görüntüsü üzerindeki satir
tespit yaklasimi su sekilde çalismaktadir.
Yukaridan asagi ve soldan saga olmak üzere resim
üzerindeki siyah pikseller taranir. Anlamsiz
lekeler daha önceden temizlendigi için yazilimin
tespit sirasinda yanilmasi en aza indirilmistir.
Ilk siyah piksel bulundugunda, ayni zamanda ilk
satirda tespit edilmis demektir. Bir noktasindan
yakalanan herhangi bir satir, tamamen siyah
piksellerden olustugu için egim açisi, egim yönü,
sol, sag, üst ve alt sinir koordinatlari bu
çalismada gelistirilen bir yöntemle basarili bir
sekilde tespit edilmistir.
11 / 26
13
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sekil 5 bu satir sekli koordinat analizini
göstermektedir.
Sekil 5. Tespit edilecek satir seklinin egim ve
aksi egim noktasi koordinat analizi
12 / 26
14
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Yukaridan asagiya tarama neticesinde en üst
noktasindan yakalanan bir satir sekli ile ilgili
analiz ve karar mantigi su sekildedir. h H / 2
Satir ve Sütun degerlerinden saga ve sola son
beyaz bölgeye kadar çizilen dikmeler kullanilarak
ilk orta noktanin bu dikmelere olan uzakliklari
Sag Mesafe ve Sol Mesafe adlari ile saklanir.
Sekilden de anlasilabilecegi gibi satir sekli
görüntüsü sola egiktir. Bu nedenle Sol Mesafe
olarak hesaplanan deger Sag Mesafe degerinden
daha büyük olacaktir. Iste gelistirilen bu
yaklasim ile satir görüntüsünün hangi yöne egimli
oldugu belirlenmistir.
13 / 26
15
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sekildeki gibi sola egik bir satir görüntüsünün,
doküman resmi üzerindeki sag sinir
koordinati Sag Sinir Sütun Degeri Sütun Sag
Mesafe Sag Sinir Satir Degeri Satir h Sag
sinir orta noktasi bu yöntemle hesaplanir. Fakat
Sag üst ve sag alt nokta koordinatlari da
yaklasik olarak asagidaki formüller yardimiyla
tespit edilir.
14 / 26
16
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sag üst nokta sinir koordinati () Sag Sinir
Satir Degeri-(h20), Sag Sinir Sütun Degeri10
Sag alt nokta sinir koordinati () Sag Sinir
Satir Degeri(h20), Sag Sinir Sütun Degeri10
Sag sinir nokta koordinatlari belirlendikten
sonra, egimin sola oldugu bilgisinden yola
çikilarak, sekil sol tarafa dogru bu çalismada
gelistirilen tarama yöntemi ile kontrol
edilecektir. Sekil 6 sola egimli bir satir
görüntüsü için Sol Sinir Koordinatinin tespit
edilme yöntemi açiklanmistir.
15 / 26
17
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Sekil 6. Tespit edilecek satir seklinin egim
noktasi koordinat analizi
16 / 26
18
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Bulunan ilk orta noktadan sora her döngü degeri
için h kadar asagi ve beyaz piksel bulana kadar
sola gitmek gerekir. Her defasinda gidilen sol
mesafe, ilk bulunan Sol Mesafe degerinin
yarisindan küçük oldugunda son kez sola gittik
anlamina gelir ve son geldigimiz sol alt orta
nokta sinir koordinati olarak bulunur. Sol alt ve
sol üst koordinatlari da yaklasik olarak
asagidaki formüller yardimiyla hesaplanir. Sol
üst nokta sinir koordinati () Sol Sinir Satir
Degeri-(h20), Sol Sinir Sütun Degeri-10 Sol
alt nokta sinir koordinati () Sol Sinir Satir
Degeri(h20), Sol Sinir Sütun Degeri-10
17 / 26
19
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Bu çalismada gelistirilen yaklasim sayesinde,
dört koordinat olarak hesaplanan satir görüntüsü,
orijinal satirlarin bellekte tutuldugu doküman
görüntüsünden alinir. Üzerinde çalisilan
genisletilmis satir sekil görüntülerinin
bulundugu resim üzerinden, koordinatlari tespit
edilen satir, orijinal görüntüsü elde edildikten
sonra silinir. Ve yine baslangiçtaki soldan saga
ve yukaridan asagiya siyah piksel tarama
yaklasimi ile kalan diger satir koordinatlarinin
tespit edilmesi ile isleme satirlar bitene kadar
devam edilir. Egim yönü sag oldugu durumda ise
algoritma benzer birkaç desiklikle islemi
saglikli bir sekilde yerine getirecek biçime
dönüsmüstür.
18 / 26
20
SATIR GÖRÜNTÜLERININ SEKIL HALINE DÖNÜSTÜRÜLMESI
VE KOORDINAT TESPITI
Iste bu yaklasim ve yöntemler kullanilarak
dinamik olarak olusturulan listeye, koordinati
tespit edildikten sonra orijinal doküman
resminden her elde edilen satir görüntüsünün
eklenmesi ile açisal satir analizi islemi için
gerekli hazirlik yapilmis olur.
19 / 26
21
AÇISAL SATIR ANALIZI VE DOKÜMAN RESMININ DOGRUSAL
ANALIZE HAZIR HALE GETIRILMESI
Satirlar üzerinde açisal analiz su biçimde
gerçeklestirilir. Her satir resmi için, alttan
yukari, soldan saga ve sagan sola tarama ve siyah
piksel bulma mantigi isletilir. Satirin alt ilk
temas noktasi denge merkezi olarak kabul edilir
ve sol, sag yaklasimlarda matematiksel olarak
tespit edilen yine egim yönü ve bu defa ek olarak
egim açisi yardimi ile satir görüntüsü egim açisi
kadar saat yönünde veya tersi yönde görüntü
döndürme yöntemleri sayesinde düzgün hale
getirilir.
20 / 26
22
AÇISAL SATIR ANALIZI VE DOKÜMAN RESMININ DOGRUSAL
ANALIZE HAZIR HALE GETIRILMESI
Sekil 7. Koordinati genisletilmis satir
görüntülerinden tespit edilen ve orijinal doküman
resminden satir biçiminde alinan ilk satir resmi
(Açisal analizden önce)
21 / 26
23
AÇISAL SATIR ANALIZI VE DOKÜMAN RESMININ DOGRUSAL
ANALIZE HAZIR HALE GETIRILMESI
Sekil 8. Her satir için kayitli liste boyunca
uygulanacak açisal satir analizi isleminden sonra
satir görüntüsü
Satirin açisal analizi islem mantigi, egim açisi
ve egim yönü tespiti asagidaki biçimde
açiklanabilir. Eger X3 sütun koordinati, X1e
X2den daha yakin ise satir sola egimlidir denir
ve dönme açisi saat yönünde a ArcTan ( ( Y3
Y2 ) / ( X2 X3 ) ) biçiminde hesaplanir.
22 / 26
24
AÇISAL SATIR ANALIZI VE DOKÜMAN RESMININ DOGRUSAL
ANALIZE HAZIR HALE GETIRILMESI
Eger tabandan yaklasan X3 sütün koordinati, X2ye
X1den daha yakin ise satir saga egimlidir denir
ve dönme açisi saat yönünün tersi yönde a
ArcTan ( ( Y3 Y1 ) / ( X3 X1 ) ) biçiminde
hesaplanir. Sonuç olarak karmasik satirlardan
olusan doküman görüntüsündeki metin Sekil 9daki
biçime dönüstürülmüstür.
23 / 26
25
AÇISAL SATIR ANALIZI VE DOKÜMAN RESMININ DOGRUSAL
ANALIZE HAZIR HALE GETIRILMESI
Sekil 9. Karmasik doküman satirlarinin dogrusal
resim-metin analizi için hazir hale getirilmesi
24 / 26
26
AÇISAL SATIR ANALIZI VE DOKÜMAN RESMININ DOGRUSAL
ANALIZE HAZIR HALE GETIRILMESI
Yapilmasi gereken son islem, Sekil 9daki resim
üzerinden dogrusal görüntü analizi yardimi ile
satir resimlerinin teker teker elde edilmesidir.
Yatay ve dikey olarak birbirinden rahatlikla
ayrilabilen satir ve karakterler elde edilir.
Burada dikkat edilmesi gereken nokta,
satirlardaki kelime ayrimlarinin tespit
edilmesidir. Her satir için, karakterler arasi
ortalama bosluk miktari hesaplanir. Muhtemel
kelime ayrimlari bu ortalama bosluk miktarindan
daha uzun olan yerlerdir. Böylelikle doküman
görüntüsünün islenmesi ve anlamli bir sekilde
bölümlendirilmesi saglanmis olur. Olusturulan
dinamik veri yapilari kullanilarak, görüntüden
elde edilen karakterleri kelime ve cümle yapilari
ile dogru bir sekilde ayrilmistir.
25 / 26
27
SONUÇLAR
Çalismamizda ürettigimiz yazilim simdilik
karmasiklik düzeyi oldukça yüksek seviyeli
dokümanlarin görsel analizine yapabilmektedir.
Gelistirmeler devam etmektedir. Yazilima
eklenmesi olasi yapay sinir agi sistemi ile
karakter tanima islemi rahatlikla
gerçeklestirilebilir. Su an için, çalismamizda
sadece doküman tanima sistemlerinin temelini
teskil eden görüntü analizi ve resim üzerindeki
metnin tespiti konulari ele alinmistir.
Gelistirilen yeni yaklasimlar ve yöntemler
belirtilmeye çalisilmistir.
26 / 26
28
TÜRKÇE DOKÜMAN TANIMA SISTEMLERINDE KARSILASILAN
KARMASIK METIN SATIRLARININ TESPIT EDILMESI
PROBLEMINI ORTADAN KALDIRAN BIR GÖRÜNTÜ ANALIZI
YAKLASIMI
Hasan KARAL ve Emre UZUN Karadeniz Teknik
Üniversitesi Fatih Egitim Fakültesi, Bilgisayar
ve Ögretim Teknolojileri Egitimi
Bölümü hasankaral_at_ktu.edu.tr, euzun61_at_hotmail.com