YSA_WEEK3.pptx PDF

YZM305 YAPAY SİNİR AĞLARI NÖRON MODELLERİ Dr.Öğr.Üyesi Murat ŞİMŞEK Ostim Teknik Üniversitesi 1  1.7 Bilgi Temsili "Bilgi"nin genel tanımı« Bilgi, bir kişi veya makine tarafından dış dünyayı yorumlamak, tahmin etmek ve uygun şekilde ya...

YZM305 YAPAY SİNİR AĞLARI NÖRON MODELLERİ Dr.Öğr.Üyesi Murat ŞİMŞEK Ostim Teknik Üniversitesi 1  1.7 Bilgi Temsili "Bilgi"nin genel tanımı« Bilgi, bir kişi veya makine tarafından dış dünyayı yorumlamak, tahmin etmek ve uygun şekilde yanıt vermek için kullanılan depolanmış bilgileri veya modelleri ifade eder. Bilgi temsilinin temel özellikleri iki yönlüdür hangi bilgilerin gerçekte açık hale getirildiği; ve Bilgilerin sonraki kullanım için fiziksel olarak nasıl kodlandığı "Akıllı" makinelerin gerçek dünyadaki uygulamalarında, iyi bir çözümün bilginin iyi bir şekilde temsil edilmesine bağlı olduğu söylenebilir 2  3. Tekrarlayan Ağlar (Recurrent Networks) Bir sinir ağı için önemli bir görev, gömülü olduğu dünyanın (çevrenin) bir modelini öğrenmek ve ilgilenilen uygulamanın belirtilen hedeflerine ulaşmak için modeli gerçek dünyayla yeterince tutarlı tutmaktır Dünya bilgisi iki tür bilgiden oluşur: Neyin bilindiği ve neyin bilindiği hakkındaki gerçeklerle temsil edilen bilinen dünya durumu (önceki bilgiler) Obserasyon ortamını araştırmak için tasarlanmış sensörler aracılığıyla elde edilen dünyanın gözlemleri (ölçümleri) (sensör gürültüsüne, hatalara ve sistem kusurlarına bağlı olarak) 3  Eğitim Verileri veya Eğitim Örneği Her bir çiftin bir giriş sinyalinden ve karşılık gelen istenen yanıttan oluştuğu bir giriş-çıkış çiftleri kümesi, bir dizi eğitim verisi veya eğitim örneği olarak adlandırılır. Böyle bir veri setinin nasıl kullanılabileceğini göstermek için, örneğin, giriş sinyalinin 10 basamaktan birini temsil eden siyah veya beyaz pikselli bir görüntü olduğu el yazısı basamak tanıma problemini düşünün. İstenen yanıt, görüntüsü ağa giriş sinyali olarak sunulan belirli bir rakamın "kimliği" dir Bu örnekte, bir sinir ağının tasarımı aşağıdaki gibi ilerleyebilir: 4 Karakter tanıma için bir sinir ağı tasarımı 1.Sinir ağı için uygun mimariyi seçin, 2. ~bir girdi görüntüsünün piksellerine eşit sayıda kaynak düğümlerinden oluşan bir giriş katmanı ile, 3.~ve 10 nörondan oluşan bir çıktı katmanı (her basamak için bir tane), 4.~Daha sonra uygun bir algoritma aracılığıyla ağı eğitmek için örneklerin bir alt kümesi kullanılır. 5.~Ağ tasarımının bu aşamasına öğrenme denir 6.2. Eğitilen ağın tanıma performansını daha önce görülmemiş verilerle test edin 7.~Özellikle, ağa bir giriş görüntüsü sunulur, ancak bu sefer değildir 8.söz konusu görüntünün ait olduğu rakamın kimliğini söyledi. 9.~Ağın performansı daha sonra ağ tarafından bildirilen 5  Karakter tanıma Begi (RAKAM örneği) n Random için bir sinir ağı weight values Update tasarımı 1. NN için uygun mimariyi seçin Input hidden weights ~ #nodes = #pixels giriş training Calculate görüntüsünden oluşan giriş katmanı data x local ~ 10 nörondan oluşan bir çıktı katmanı Calculate gradient output Update (1 için her basamak), hidden ~ Ağı eğitmek için örnekler kullanın output neurons Calculate weights (öğrenme) output of Calculate output local 2. Tanıma performansını daha önce neuronsActual yj gradient görülmemiş verilerle test edin output ~ Rakamı tanımlamak için bilinmeyen yj N Calculate Is Y giriş görüntüleri kullanılır. error ej Performan ~ Ağ performansı, tanımlanan rakam ej = dj - yj ce Satisfactor ile gerçek rakam karşılaştırılarak Desire y En değerlendirilir. d ? d output 6  Bilgi Temsili Kuralları – Kural 1 Kural 1: Yapay bir sinir ağı içinde bilgi temsili Benzer sınıflardan gelen benzer girdiler, ağ içinde benzer temsiller üretmeli ve bu nedenle aynı kategoriye ait olarak sınıflandırılmalıdır. Yaygın bir benzerlik ölçüsü Öklid mesafesidir. S pesifik olmak 𝐱𝒊 = 𝑥𝑖1, 𝑥𝑖2, … , 𝑥𝑖𝑚 𝑇 gerekirse, xi bir m-by-1 vektörünü gösterelim Tüm unsurların gerçek olduğu yer. Üst simge T, matris transpozisyonunu gösterir. Vektör xi, Öklid uzayı adı verilen m 𝑑(𝒙𝒊, 𝒙𝒋) = 2 boyutlu uzayda bir noktayı tanımlar σ 𝑘= Öklid 𝑥𝑖𝑘 −mesafesi 1/2 xik ve xjk,𝐱xi 𝑖 −ve𝐱xj = vektörlerinin k. 𝑚 1 Bir çift m-by-1 vektör xi ve xj arasındaki şu şekilde 𝑗 girdi 𝑥𝑗𝑘 Burada tanımlanır: elemanıdır. 7 SORU-1 Bir ses tanıma sistemi geliştiriyoruz ve elimizde farklı kelimelere ait ses kayıtları var. Her bir ses kaydı, belirli özellikleri (örneğin, Mel Frekans Kepstrum Katsayıları - MFCC) temsil eden bir vektöre dönüştürülmüş durumda. Amacımız, yeni bir ses kaydının hangi kelimeye ait olduğunu belirlemek. CEVAP-1  Desenler Arasındaki Benzerlik xi veÖlçüsü xj vektörleri tarafından temsil edilen girdiler arasındaki benzerlik, Öklid mesafesi d(xi, xj)'nin tersi olarak tanımlanır. Birey ne kadar yakınsa Kural 1, xi ve xj vektörleri benzerse, aynı kategoriye (sınıfa) atanmaları gerektiğini belirtir. Başka bir benzerlik ölçüsü, nokta çarpıma veya iç çarpıma dayanır. (𝐱𝑖 , 𝐱𝑗 ) =𝑖 𝐱 𝐱𝑗 = σ𝑥𝑚 𝑇 𝑖𝑘𝑥𝑗 Aynı boyutta bir çift xi ve xj vektörü verildiğinde, iç çarpımları 𝑘=1 𝑘𝐱𝑖 𝐱 açının şöyle olur: İç çarpım (xi, xj) bölü kosinüsüdür 𝑗 vektörler (xi, xj) arasında alt sıralarda yer alır. 9  Desenler Arasındaki Benzerlik Ölçüsü Desenler arasındaki benzerliğin bir ölçüsü olarak iç çarpım ile Öklid mesafesi arasındaki ilişkiyi gösteren şekil 1 Desenler Arasındaki Benzerlik Ölçüsü 𝐱 𝑖 𝐱 𝐱𝑖𝑇 𝑗 𝐱 1 1  Measure of Similarity Between Patterns Öklid mesafesi norm2 (xi – xj) ne kadar küçükse, xi ve xj vektörleri o kadar benzer ve iç çarpım xTxj o kadar büyük olacaktır. Bu ilişkiyi resmi bir temele oturtmak için, 𝐱𝑖 normalleştiririz önce xi ve xj vektörlerini birim uzunluğa sahip olacak şekilde = 𝑑2(𝒙𝒊, 𝒙𝒋) = 𝐱 𝑖 − 𝐱𝑗 𝐱𝑖 − 𝑖 𝐱 𝑗 Formül = 𝟐 − 𝐱 𝟐𝐱 𝑗 𝑇 𝐱 ile Öklid mesafesinin en aza = 1(xi, xj) indirilmesidir d(xi, xj), iç çarpımın maksimizasyonuna ve dolayısıyla xj 1  Desenler Arasındaki Benzerlik xi ve Ölçüsü xj vektörleri, μi ve μj ortalamalarına sahip iki farklı veri 𝛍𝑖 = 𝐸[𝐱𝑖 ] ve 𝛍 𝑗 = 𝐸[𝐱𝑗] popülasyonundan (havuzlarından) çekildiğinde, xi'den xj'ye olan mesafenin karesi şu şekilde tanımlanır: 𝑑𝑖2 = 𝐱𝑖 − 𝛍𝑇 𝑖 Σ− 𝐱𝑗 − 𝛍 𝑗 𝑗 1 Burada Σ tarafından verilen 𝚺 = E 𝐱𝑖 − 𝛍𝑖 𝐱𝑖 − 𝛍 𝑖 = 𝐱 𝐱𝑗 kovaryans matrisidir E − 𝛍 − 𝛍𝑗 14 SORU-2 Bir yüz tanıma sistemi geliştiriyoruz ve elimizde farklı kişilere ait yüz görüntüleri var. Her bir yüz görüntüsü, özellikleri temsil eden bir vektöre dönüştürülmüş durumda. Amacımız, yeni bir yüz görüntüsünün veri tabanımızdaki yüzlerle ne kadar benzer olduğunu belirlemek. 1. Veri Hazırlığı Elimizde iki adet yüz vektörü olsun: Vektör A Yeni alınan yüz görüntüsünün özellik vektörü. Vektör B Veri tabanımızdaki bir yüzün özellik vektörü. A=[0.5,0.2,0.1,0.7,0.9] B=[0.4,0.25,0.15,0.65,0.85] CEVAP-2 Kosinüs Benzerliği Değeri: Yaklaşık 0.9966. Yorum: Değer 1'e çok yakın olduğu için, iki yüz vektörü arasındaki benzerlik çok yüksektir. Bu, yeni alınan yüz görüntüsünün veri tabanındaki yüzle büyük ölçüde eşleştiğini gösterir.  Bilgi Temsili Kuralları – Kural 2 Kural 2. Ayrı sınıflar olarak kategorize edilecek öğelere ağda çok farklı temsiller verilmelidir. İkinci kural, Kural 1'in tam tersidir. 17  Bilgi Temsili Kuralları – Kural 3 Kural 3. Belirli bir özellik önemliyse, o öğenin ağdaki temsilinde yer alan çok sayıda nöron olmalıdır. Örneğin, dağınıklık varlığında bir hedefin (örneğin uçak) tespit edilmesini içeren bir radar uygulamasını düşünün (yani, binalar, ağaçlar ve hava oluşumları gibi istenmeyen hedeflerden gelen radar yansımaları). Böyle bir radar sisteminin algılama performansı iki olasılıkla ölçülür: Tespit olasılığı, sistemin bir hedefin mevcut olduğu zaman mevcut olduğuna karar verme olasılığı olarak tanımlanır. Yanlış alarm olasılığı, sistemin bir hedefin mevcut olmadığı halde mevcut olduğuna karar verme olasılığı olarak tanımlanır. 18  Bilgi Temsili Kuralları – Kural 4 Kural 4. Önceki bilgiler ve değişmezlikler, ağ tasarımını öğrenmek zorunda kalmadan basitleştirmek için bir sinir ağının tasarımına dahil edilmelidir. Kural 4 özellikle önemlidir, çünkü ona uygun şekilde bağlılık, özel (sınırlı) bir yapıya sahip bir sinir ağı ile sonuçlanır. Bu, birkaç nedenden dolayı oldukça arzu edilir Biyolojik görsel ve işitsel ağların çok özelleşmiş olduğu bilinmektedir. Özel yapıya sahip bir sinir ağı, genellikle tam bağlı bir ağa göre ayarlama için daha az sayıda serbest parametreye sahiptir, eğitim için daha küçük veri seti gerektirir, daha hızlı öğrenir ve daha iyi genelleştirir Özel bir ağ üzerinden bilgi aktarım hızı (yani ağ verimi) hızlanır.  Sinir Ağı Tasarımında Önceki Bilgiler Nasıl Oluşturulur? Özel bir yapı geliştirmek için iki tekniğin bir kombinasyonu kullanılabilir: Alıcı alanlar olarak bilinen yerel bağlantıların kullanımı yoluyla ağ mimarisini kısıtlama Ağırlık paylaşımı yoluyla sinaptik ağırlık seçimini kısıtlamak Şekil giriş katmanı ve ağırlık paylaşımının birlikte kullanımını göstermektedir. Dört gizli nöronun tümü, sinaptik bağlantıları için Layer of aynı ağırlık setini paylaşır. output neurons Input layer Layer of of source hidden 1  Sinir Ağı Tasarımında Önceki Bilgiler Nasıl Oluşturulur? Şekil Alıcı bir alanın (Receptive Field) ve ağırlık paylaşımının birlikte kullanımını göstermektedir. Dört gizli nöronun tümü, sinaptik Layer of bağlantıları için output aynı ağırlık setini neurons paylaşır Input layer of source Layer of hidden 1 Sinir Ağı Tasarımında Önceki Bilgiler Nasıl Oluşturulur? Gizli nöron j'nin indüklenmiş yerel alanını Şekil'de şu 𝑣𝑗 = σ𝑖=6 𝑤𝑖𝜅𝑖+𝑗− 𝑗 = 1, 2, şekilde ifade edebiliriz: 1 3, 4 6 1, Bu nedenle, yerel bağlantıları ve bu 𝑖= 𝑤𝑖 where 4 gizli nöronun ağırlıklarıdır. Denklem içinde Evrişim 1 toplamı biçimidir. şekilde ağırlık paylaşımını kullanan ileri beslemeli ağ, evrişimli ağ olarak adlandırılır. 1  Sinir Ağı Tasarımında Değişmezlikler Nasıl Oluşturulur? Aşağıdaki fiziksel olayları göz önünde bulundurun: İlgilenilen bir nesne döndüğünde, bir gözlemci tarafından algılanan nesnenin görüntüsü genellikle buna karşılık gelen bir şekilde değişir. Çevresindeki ortam hakkında genlik ve faz bilgisi sağlayan tutarlı bir radarda, hareketli bir hedeften gelen yankı, hedefin radara göre radyal hareketi nedeniyle ortaya çıkan Doppler etkisi nedeniyle frekansta kayar. Bir kişiden gelen sözler yumuşak veya yüksek bir sesle ve yavaş veya hızlı bir şekilde söylenebilir. 23 Sinir Ağı Tasarımında Değişmezlikler Nasıl Oluşturulur? Örüntü tanımanın birincil gereksinimi, sınıflandırıcı girdisine uygulanan bu tür dönüşümlerden bağımsız olan (etkilenmeyen) bir sınıflandırıcı tasarlamaktır. Sınıflandırıcı türü sinir ağlarını dönüşümlere değişmez hale getirmek için en az üç teknik vardır Yapıya Göre Değişmezlik Eğitime göre farklılık gösterme Sabit Özellik Alanı 24 Sinir Ağı Tasarımında Değişmezlikler Nasıl Oluşturulur? Değişmez bir sınıflandırıcı tipi sinir ağı oluşturmanın üçüncü tekniği Şekil 'de gösterilmiştir. Invarian Classifier- Inpu ce Type Class t Feature Neural Estima Extracto Network te Değişmez özellik uzayı tipi bir sistemin blok diyagramı r Girdinin dönüşümlerine değişmez olan bir girdi veri setinin temel bilgi içeriğini karakterize eden özellikleri çıkarmak mümkündür Bu tür özellikler kullanılırsa, bir sınıflandırıcı olarak ağ, karmaşık karar sınırlarına sahip bir nesnenin dönüşüm aralığını tanımlama yükünden kurtulur 25 Sinir Ağı Tasarımında Değişmezlikler Nasıl Oluşturulur? Değişmez bir özellik alanının kullanılması üç farklı avantaj sunar. *İlk olarak, ağa uygulanan özelliklerin sayısı gerçekçi seviyelere indirgenebilir. *İkincisi, ağ tasarımına getirilen gereksinimler gevşetilir. *Üçüncüsü, bilinen dönüşümlere göre tüm nesneler için değişmezlik sağlanır Bununla birlikte, bu yaklaşımın çalışması için sorun hakkında önceden bilgi sahibi olması gerekir 26 Sinir Ağı Tasarımında Değişmezlikler Nasıl Oluşturulur? Değişmez özellik uzayı fikrini göstermek için, hava gözetimi için kullanılan tutarlı bir radar sistemi örneğini düşünün Deneysel çalışmalar, bu tür radar sinyallerinin otoregresif (AR) bir süreç olarak modellenebileceğini göstermiştir AR modeli, karmaşık değerli veriler için şu şekilde tanımlanan özel bir regresif model biçimidir: 𝑥 = 𝑖=1 𝑎 ∗ 𝑥 𝑛 − 𝑖 + 𝑒(𝑛) 𝑎𝑖 𝑛 𝑖 model derecesidir, 𝑥(𝑛) girdidir, 𝑖= ve 𝑒(𝑛) beyaz σ 𝑀 AR Katsayıları, M (1.30) 1 gürültü olarak tanımlanan hatadır. 27 Sinir Ağı Tasarımında Değişmezlikler Nasıl Oluşturulur? Denklemde AR modeli, M = 2 için Şekilde gösterildiği gibi bir dişli gecikme hattı filtresi ile temsil edilir.. Şekil 2. dereceden otoregresif model: (a) dokunulmuş gecikme hattı modeli; (b) kafes filtre modeli. (Yıldız işareti karmaşık çekimi ifade eder.) ( a ) 28  YSA Tarihi Sinir ağlarının modern çağı, McCulloch ve Pitts'in (1943) öncü çalışmasıyla başladı. Sinir sistemindeki bir olayın temsili üzerinde çalıştı. 1943'te McCulloch ve Pitts, klasik makalelerinde sinir ağlarının mantıksal bir hesabını tanımlarlar. Resmi bir nöron modelinin "ya hep ya hiç" yasasını takip ettiği varsayıldı. McCulloch ve Pitts, böyle bir ağın herhangi bir hesaplanabilir işlevi hesaplayabileceğini gösterdi. Bu, sinir ağlarının ve yapay zeka disiplinlerinin resmi olarak doğmasına yol açtı. 29  YSA Tarihi McCulloch ve Pitts'in 1943 tarihli makalesi, von Neumann'ı ENIAC'tan (Elektronik Sayısal Entegratör ve Bilgisayar) geliştirilen EDVAC'ın (Elektronik Ayrık Değişken Otomatik Bilgisayar) inşasına etkiledi ENIAC, 1943'ten 1946'ya kadar Pennsylvania Üniversitesi Moore Elektrik Mühendisliği Okulu'nda inşa edilen ilk genel amaçlı elektronik bilgisayardı. 1961'de Wiener'in ünlü kitabı Cybernetics'in ikinci baskısı yayınlandı ve kontrol, iletişim ve istatistiksel sinyal işlemeye ek olarak öğrenme ve kendi kendine örgütlenme üzerine yeni materyaller eklendi. 30  YSA Tarihi Sinir ağlarındaki bir sonraki büyük gelişme, 1949'da Hebb'in sinaptik modifikasyon için fizyolojik bir öğrenme kuralının açık bir ifadesinin ilk kez sunulduğu The Organization of Behavior adlı kitabının yayınlanmasıyla geldi. Hebb'in iki nöron arasındaki değişken bir sinapsın etkinliğinin, bir nöronun bu sinaps boyunca diğeri tarafından tekrar tekrar aktive edilmesiyle arttığını belirten ünlü öğrenme varsayımı. Hebb'in kitabı, hesaplamalı öğrenme modellerinin ve uyarlanabilir sistemlerin geliştirilmesine ilham verdi Rochester, Holland, Haibt ve Duda (1956), Hebb'in öğrenme varsayımına dayanan iyi formüle edilmiş bir sinirsel teoriyi test etmek için bilgisayar simülasyonu kullanır; 31