YSA_WEEK2.pptx (YAPAY SİNİR AĞLARI)

YZM305 YAPAY SİNİR AĞLARI YÖNLENDIRILMIŞ GRAFIKLER + SINIR AĞI MIMARISI OLARAK GÖRÜNTÜLENEN BIR NÖRON + YSA MODELI  Dr.Öğr.Üyesi Murat ŞİMŞEK  Ostim Teknik Üniversitesi 1  1.3 B...

YZM305 YAPAY SİNİR AĞLARI YÖNLENDIRILMIŞ GRAFIKLER + SINIR AĞI MIMARISI OLARAK GÖRÜNTÜLENEN BIR NÖRON + YSA MODELI  Dr.Öğr.Üyesi Murat ŞİMŞEK  Ostim Teknik Üniversitesi 1  1.3 BİR NÖRONUN MODELLERİ Bir nöron, bir sinir ağının çalışması için temel olan bir bilgi işleme birimidir. Şekil 1.5'in blok diyagramı, (yapay) sinir ağlarının tasarlanması için temel oluşturan bir nöronun modelini göstermektedir Bias bk x1 Activati Functio on υk Outp n Input x2  (.) ut yk s.. signa.. Summi ls ng.. Junctio n xkm Synaptic weights 3  NÖRONAL MODELİN ÜÇ TEMEL UNSURU dizi sinaps veya bağlantı bağlantısı. Özellikle, bir sinyal 𝑥𝑗 1. Her biri kendi ağırlığı veya gücü ile karakterize edilen bir çarpılır 𝑤𝑘𝑗 Synapse'in girişinde j Nörona bağlı k sinaptik ağırlık ile 2. Nöronun ilgili bk sinapsları x1 Bias tarafından Activatio nFunctio ağırlıklandırılan υk n Outp giriş sinyallerini Input x2  (.) ut yk s.. toplamak için bir signal.. Summi s ng 3. toplayıcı Bir nöronun.. Junctio çıktısının genliğini n xkm sınırlamak için bir aktivasyon Synaptic fonksiyonu. weights 4  BİR NÖRONUN MATEMATİKSEL TANIMI Bir nöron k'yi denklemleri yazarak 𝑚 tanımlayabiliriz: 𝑢𝑘 = ⅀ 1. 𝑤𝑘𝑗𝑥𝑗 1 𝑗=1 𝑦𝑘 = 𝜑 𝑢𝑘 + 𝑏𝑘 (1.2) ve Nerede x1, x2, x3,..... Xm giriş sinyalleridir ve wk1, wk2,... wkm, nöron k'nin sinaptik ağırlıklarıdır; İngiltere, giriş sinyalleri nedeniyle doğrusal birleştirici çıkışıdır; bk nöronun çıkış sinyalidir.The use of bias 𝑏𝑘 applies an offline 4 önyargıdır; 𝜑 (.) aktivasyon fonksiyonudur; Ve YK, transformation to the output 𝑢𝑘 Bir Bias in varlığıyla üretilen çevrimdışı dönüşüm  1.2 İNSAN BEYNİ Yapay nöronun dışsal bir parametresi olarak bk 𝑚 yanlılığını şu şekilde açıklayabiliriz: 𝑣𝑘 = ⅀ 𝑤𝑘𝑗 𝑥𝑗 ve 𝑗=0 𝑦𝑘 = 𝜑 𝑣𝑘 𝑥0 = +1 Yeni bir Synapse ekledik 𝑤𝑘𝑜 = 𝑏𝑘 ve ağırlığı 6 AKTİVASYON FONKSİYONLARININ TÜRLERİ 8 Source:  EŞİK FONKSİYONU (THRESHOLD FUNCTİON) Şekilde açıklanan eşik tipi aktivasyon fonksiyonu için, 1 𝑣≥ 𝜑(𝑣 𝜑𝑣 = 0 ) { 0 𝑣< 0 Bu genellikle Heaviside fonksiyonu olarak adlandırılır Buna bağlı olarak, böyle bir 1 if 𝑣şu 𝑘 ≥ eşik fonksiyonu kullanan 𝑦 = nöron k'nin çıktısı şekilde { ifade edilir: 0 0 if 𝑣𝑘 < 0 𝑚 burada vk, nöronun 𝑣𝑘 = ⅀ indüklenmiş yerel alanıdır; Yani 𝑤𝑘𝑗 𝑥𝑗 +𝑏 𝑗= 9  DOĞRULTUCU FONKSİYONU (RECTIFIER FUNCTION) Doğrusal bir doğrultucu fonksiyonu i/p'ye 𝜑(𝑣 sahiptir ) Şekilde gösterilen O/P özellikleri Fonksiyon, abov sıfır aktivasyonu için doğrusaldır ve aksi takdirde sıfıra eşittir Doğrultucu işlevini doğrusal olmaması olarak kullanan bir yapay nöron birimi, doğrultulmuş doğrusal birim (ReLU) olarak adlandırılır Çoğu makine öğrenimi uygulayıcısı, bir sinir 𝑣 ağının ara katmanları için ReLU birimlerini kullanır Basit matematik sayesinde, ReLU birimi, ReLU birimlerine sahip ağların optimize edilmesi, sigmoid aktivasyonu kullananlara göre daha 1 kolaydır. Source: 0  PARÇALI DOĞRUSAL FONKSİYON (PİECEWİSE LİNEAR FUNCTİON) 𝜑(𝑣 Şekilde gösterilen parçalı-doğrusal fonksiyon için, 1 𝑣≥ 1 ) 1/2 𝜑𝑣 𝑣 + >𝑣> = 2 −1/2 0 𝑣≤ −1/2 Burada, doğrusal işlem bölgesi içindeki amplifikasyon faktörü birliktir. Aşağıdaki 2 durum, parçalı-doğrusal fonksiyonun özel biçimleri olarak görülür Doğrusal işlem bölgesi doygunluğa girmeden korunursa doğrusal bir birleştirici ortaya çıkar. Parçalı-doğrusal fonksiyon, doğrusal bölgenin amplifikasyon faktörü sonsuz büyük yapılırsa bir eşik fonksiyonuna indirgenir. 1 1  SİGMOİD FONKSİYONU Sigmoid fonksiyonu, yapay sinir ağlarının inşasında kullanılan en yaygın aktivasyon fonksiyonu şeklidir. Doğrusal ve doğrusal olmayan davranış arasında zarif bir denge sergileyen, kesinlikle 𝜑(𝑣 artan bir fonksiyon olarak tanımlanır 𝜑𝑣 ) Sigmoid fonksiyonu şu şekilde 1+exp(−𝑎 =a eğim𝑣)parametresidir. a tanımlanır : 1 burada parametresini değiştirerek, biz Şekilde gösterildiği gibi farklı 𝑣 eğimlerde sigmoid fonksiyonlar elde edebiliriz. Aslında, orijindeki eğim a/4'e eşittir. Limitte, eğim parametresi sonsuza yaklaştıkça, sigmoid fonksiyonu bir eşik fonksiyonu haline gelir. Sigmoid fonksiyonunun türevlenebilir olduğunu, eşik fonksiyonunun ise olmadığını 1 2  TANH FONKSİYONU 𝜑(𝑣 ) 𝑣 Tanh fonksiyonu, sigmoid fonksiyonunun bir varyasyonudur. Tanh fonksiyonunun çıktısı her zaman -1 ile 1 arasındadır (0 ile 1 yerine) 𝜑 (𝑣) = tanh(𝑣) 1 Source: 3  BİR NÖRONUN STOKASTİK MODELİ Şekilde açıklanan nöronal model, girdi-çıktı davranışının tüm girdiler için kesin olarak tanımlanması bakımından deterministiktir. Bir nöronun ateşlenmesi kararı (yani, durumunu "kapalı"dan "açık"a geçirmek), bir nöronun iki durumdan yalnızca birinde bulunmasına izin verildiği durumlarda olasılıklıdır:+ 1 veya -1 + göstersin with probability 𝑃 𝑣 olasılığını 𝑥 =v, {1 with probability 1 X, nöronun durumunu ve P(v) ateşleme −1 göstersin, burada nöronun indüklenmiş yerel alanıdır. Daha P(v) için standart bir seçim−sigmoid 𝑃(𝑣) sonra yazabiliriz: şekilli 𝑃𝑣 fonksiyondur 1 1+exp(−𝑣/ = etmek𝑇)için kullanılan sahte bir (1.15 burada T, gürültü seviyesini kontrol ) sıcaklıktır 1  1.4 YÖNLENDİRİLMİŞ GRAFİKLER OLARAK GÖRÜLEN SİNİR AĞLARI Şekil 1.5'teki blok diyagram veya Şekil 1.7'deki blok diyagramı, yapay bir nöron modelini oluşturan öğelerin işlevsel bir tanımını sağlar. İyi tanımlanmış bir dizi kuralla sinyal akış grafiklerini kullanarak modelin görünümünü basitleştirebiliriz Bias x1 bk Activatio Functio υk n Outp n Input x2  (.) ut yk s.. signal.. Summi s ng.. Junctio n xkm Synaptic weights (including bias) Fig. 1  1.4 YÖNLENDİRİLMİŞ GRAFİKLER OLARAK GÖRÜLEN SİNİR AĞLARI Bir sinyal akış grafiği, düğüm adı verilen belirli noktalarda birbirine bağlı yönlendirilmiş bağlantılardan (dallar) oluşan bir ağdır Tipik bir j düğümü, yönlendirilmiş bir bağlantının j düğümünden kaynaklandığı ve k düğümünde sona erdiği ilişkili bir düğüm sinyali xj'ye sahiptir. K düğümündeki yk sinyalinin düğümdeki xj sinyaline nasıl bağlı olduğunu belirten ilişkili bir transfer fonksiyonuna veya geçirgenliğe sahiptir. 15 Prepared by Prof. Dr. Hasan  1.4 YÖNLENDİRİLMİŞ GRAFİKLER OLARA GÖRÜLEN SİNİR AĞLARI Bia s x1 bk Activati Functio υk on Outp n (.) Input x2  ut yk s.. signa.. Summi ls ng.. Junctio n xkm Synaptic weights (including bias) 16 Fig. Fig. Prepared by Prof. Dr. Hasan  SİNYAL-AKIŞ GRAFİĞİ KURALLARI Kural 1: Bir sinyal, bir bağlantı boyunca yalnızca bağlantı üzerindeki okla tanımlanan yönde akar. İki farklı bağlantı türü vardır Davranışları doğrusal bir giriş-çıkış ilişkisi tarafından yönetilen sinaptik bağlantılar. Spesifik olarak, xj düğüm sinyali, Şekil 1.9a'da gösterildiği gibi düğüm sinyali yk'yi üretmek a için sinaptik ağırlık wkj ile çarpılır. Davranışları genel olarak doğrusal olmayan giriş-çıkış ilişkisi tarafından yönetilen aktivasyon bağlantıları. Kural 2: Bir düğüm sinyali, gelen bağlantılar aracılığıyla ilgili düğüme giren tüm sinyallerin cebirsel toplamına eşittir. 18  1.5 GERİ BİLDİRİM Dinamik bir sistemde, sistemdeki bir elemanın çıktısı girişi etkilediğinde geri besleme bulunur ve böylece sistem etrafındaki sinyallerin iletimi için kapalı yollara yol açar Geri bildirim, tekrarlayan ağlar olarak bilinen sinir ağlarının incelenmesinde önemli bir rol oynar Şekil 1.12, tek döngülü bir geri besleme sisteminin sinyal-akış grafiğini göstermektedir, Sırasıyla "operatörler" A ve B tarafından karakterize edilen ileri besleme yolu ve geri besleme yolu. Şekil 1.12'den aşağıdaki giriş-çıkış ilişkilerini kolayca not xj'(n A ediyoruz: xj(n yk(n Şekil 1.12. Tek döngülü ) ) ) bir geri besleme sisteminin sinyal akış B 2  BİR NÖRONUN GİRİŞ-ÇIKIŞ İLİŞKİSİ Bir nöronun aşağıdaki giriş-çıkış ilişkisi vardır 𝑦𝑘 𝑛 =𝐴 𝑥′ (1.16 𝑛 𝑥 ′ ) 𝑛 = 𝑥𝑗 𝑛 + 𝐵𝑦𝑘 Burada A ve B operatörlerdir. (1.17 Eşitlik (1.16) ile (1.17) 𝑛 arasındaki x’j(n)'yi elimine ) [𝑥 𝑦𝑘 𝑛 edersek, şunu elde ederiz: 1+𝐴 = (𝑛)] (1.18 𝐵 ) xj'(n A xj(n ) yk(n ) ) 19 B  BİR NÖRONUN GİRİŞ-ÇIKIŞ İLİŞKİSİ Şekil 1.13'te gösterilen tek döngülü geri besleme sistemi için, 𝐴 sistemin kapalı döngü operatörünü şu şekilde ifade edebiliriz: = 𝑤𝐴𝐵 1 − = 𝑤 1 − − 1− 1 Binom açılımını 𝑤𝑧 −1 𝑤𝑧 kullanma −1 1 − 𝑤𝑧−1 −1, Kapalıyı yeniden Sistemin döngü operatörü olarak yazabiliriz- xj'(n w Şekil 1.13 Birinci xj ) yk(n dereceden, sonsuz (n) süreli darbe tepkisi ) (IIR) filtresinin sinyal akış grafiği. z-1 20  BİR NÖRONUN GİRİŞ-ÇIKIŞ İLİŞKİSİ Bir nöronun aşağıdaki giriş-çıkış ilişkisi vardır 𝑦𝑘 𝑛 =𝐴 𝑥 ′ (1.16 𝑛 𝑥 ′ ) 𝑛 = 𝑥𝑗 𝑛 + 𝐵𝑦𝑘 Burada A ve B operatörlerdir. (1.17 𝑛 ortadan kaldırmak. Eşitlikler arasındaki x(n)yi ) 𝑗 [𝑥 𝑦𝑘 𝑛 (1.16) ve (1.17), şunu elde ederiz 1+𝐴 = (𝑛)] (1.18 𝐵 ) Şekil 1.13'te gösterilen tek döngülü geri besleme sistemi için, 𝐴 sistemin kapalı döngü operatörünü şu şekilde ifade edebiliriz: = 𝑤𝐴𝐵 1 − = 𝑤 1 − − 1− 1 𝑤𝑧−1 𝑤𝑧 −1 21  1.5 FEEDBACK = 𝑤 𝑙= 𝑤 𝑙 𝑧 − 1−𝐴 (1.19 0 𝑙 σ∞ Bu nedenle, (1.19)'u 𝐵 (1.18) ile ) değiştirirsek, şunu𝑦elde 𝑘(𝑛) ederiz: =𝑤 𝑙= 𝑤 𝑙 𝑧 − 𝑥𝑗(𝑛 ) (1.20 0 𝑙 σ∞ Z-1'in tanımından elimizdeki ) 𝑧−𝑙 = 𝑥𝑗(𝑛 𝑥𝑗(𝑛) − 𝑙) (1.21 ve çıkış sinyali ) 𝑦𝑘 = σ ∞ 𝑙= 𝑤 𝑙+1 𝑥 (𝑛 𝑗 𝑛 0 − 𝑙) (1.22 2 farklı intertest durumu kararlı ) ve kararsızdır, aşağıda açıklanmıştır: IwI < 1 olduğunda, çıkış sinyali yk(n) üstel olarak yakınsaktır ve sistem kararlıdır. Bu, pozitif bir w için Şekil 1.14a'da gösterilmiştir. 22 IwI ≥ 1 olduğunda, çıkış sinyali yk(n) ıraksaktır ve sistem kararsızdır.  1.6 AĞ MİMARİLERİ Bir sinir ağının yapılandırılmış nöronları, ağı eğitmek için kullanılan öğrenme Algoritmaları (kurallar) ile bağlantılıdır. Üç, temelde farklı üç ağ mimarisi sınıfıdır: Tek Katmanlı İleri Beslemeli Ağlar Çok Katmanlı İleri Beslemeli Ağlar Tekrarlayan Ağlar 23 1. TEK KATMANLI İLERİ BESLEMELİ AĞLAR Katmanlı bir Sinir Ağında, nöronlar katmanlar şeklinde düzenlenir. Kaynak düğümlerin giriş katmanı Nöronların çıkış katmanı (hesaplama düğümleri) Bu, hem girişte hem de çıkışta 4 düğüm durumu için Şekil 1.15'te gösterilmiştir Böyle bir ağa, yalnızca çıktı katmanına atıfta bulunan tek katmanlı bir ağ denir Girişte herhangi bir hesaplama yapılmadığı için kaynak düğümlerin giriş katmanı sayılmaz Şekil 1.15 Tek bir nöron Input layer Output 24 katmanına sahip ileri beslemeli of source layer of  2. ÇOK KATMANLI İLERİ BESLEMELİ AĞLAR Çok Katmanlı İleri Beslemeli Sinir Ağlarında gizli katmanlar vardır. Hesaplama düğümlerine gizli nöronlar veya gizli birimler denir Gizli nöronların işlevi, harici giriş ile ağ çıkışı arasına müdahale etmektir Bir veya daha fazla gizli katman ekleyerek, Ağ, daha yüksek dereceli istatistikler çıkarmak için etkinleştirildi Ekstra sinaptik bağlantı seti ve sinirsel etkileşimlerin ekstra boyutu nedeniyle Şekil 1.16 Tek bir gizli katman ve ile tam Layer Output bağlantılı ileri beslemeli veya döngüsel Input layer of layer of olmayan ağ. of source hidden neurons  2. ÇOK KATMANLI İLERİ BESLEMELİ AĞLAR Ağın giriş katmanındaki kaynak düğümler, ikinci katmandaki nöronlara (hesaplama düğümleri) uygulanan giriş sinyallerini oluşturan aktivasyon modelinin (giriş vektörü) ilgili elemanlarını sağlar Şekil 1.16'daki mimari grafik, tek bir gizli katman durumu için çok katmanlı ileri beslemeli bir sinir ağının düzenini göstermektedir. Şekil 1.16'daki ağ, 10 kaynak düğümü, 4 gizli nöron ve 2 çıkış nöronu olduğu için 10-4-2 ağı olarak adlandırılır 26  3. TEKRARLAYAN AĞLAR Tekrarlayan bir sinir ağının en az bir geri bildirim döngüsü vardır z-1 z-1 z-1 z-1 Örneğin, tekrarlayan bir ağ şunlardan oluşabilir Her nöronun çıkış sinyalini diğer tüm nöronların girişlerine geri beslediği tek bir nöron tabakası Ağda kendi kendine geri bildirim döngüsü yoktur Gizli nöron yoktur Mimaride gösterildiği gibi, Şekil 1.17'deki grafik 27  3. GİZLİ NÖRONLARLA TEKRARLAYAN AĞ Tekrarlayan bir ağ gizli nöronlarla ve Kendi kendine geri bildirim bağlantıların gizli nöronlardan ve çıktı nöronlarından kaynaklandığı yer Şekil 1.18'de gösterilmiştir. Geri bildirim döngülerinin varlığı, ağın öğrenme yeteneği ve performansı üzerinde derin bir etkiye 28 sahiptir Fig. 1.18 Recurrent network with hidden