Bayes-hálók tanítása

Bayes-hálók tanítása

• Bayes-hálók forrásai:
  • Szakértők
  • Adatok (mérések)
• Mit lehet megtanulni?:
  • A háló szerkezete
  • Valószínűségek
• Tipikus eset: szerkezet szakértőktől, valószínűségek adatokból
• Valószínűségek becslése:
  • Adott egy adatcsoport: D = {<V11, ..., V1k>, ..., <Vm1, ..., Vmk>}
  • m: csomópontok száma, k: minták száma
  • Elemek függetlennek tekinthetők a M adott esetben.
  • Maximális valószínűség becslés: Keresd meg azt a M modellt, amely maximalizálja P(D|M)-et.
• Becslés technikai megközelítések:
  • Bayes-i előrejelzés (optimális): Minden megfigyeléshez kapcsolódó valószínűséget a lehetséges modellek (azaz háló struktúrák) egyidejű figyelembevételével becsülünk. Ez nem gyakorlatias. P(X|D) = Σ P(X|M₁)P(M₁|D)
  • Maximális a posteriori becslés (MAP): A legvalószínűbb szerkezet kiválasztása. hMAP = argmax P(Mi|D) = argmax P(D|Mi)P(Mi) / P(D)
  • Maximális valószínűség becslés (MLE): Ha nincs információ a struktúrák a priori valószínűségeiről, egyenletes eloszlást feltételezünk: P(M₁) ≈ P(Mj). hMLE = argmax P(M₁|D) = argmax P(D|M₁)P(Mi) ≈ argmax P(D|Mi)
• Valószínűségek becslése (tovább részletek):
  • P(V₁) ≈ #(V₁=igaz) / k
  • P(V₃|V₁) ≈ #(V₃=igaz^V₁=igaz) / #(V₁=igaz)
  • P(V₃|¬V₁) ≈ #(V₃=igaz^V₁=hamis) / #(V₁=hamis)

Bayes-i korrekció (további részletek)

• P(V₁) ≈ ( #(V₁=igaz) + 1 ) / (k+2)
• P(V₃|V₁) ≈ ( #(V₃=igaz^V₁=igaz) + 1 ) / ( #(V₁=igaz) + 2 )
• P(V₃|¬V₁) ≈ ( #(V₃=igaz^V₁=hamis) + 1 ) / ( #(V₁=hamis) + 2 )

Illeszkedés minőségének mérése

• Valószínűség: P(D|M) = Πᵢ P(vᵢ|M)
• Logaritmus valószínűség: log P(D|M) = Σᵢ Σⱼ log P(Nᵢ = vᵢ | Parents(Nᵢ), M)

A struktúra tanítása

• Rögzített struktúra esetén a CPT értékek maximum valószínűség becslése megfelelő.
• Optimális modelleknél a feltételes függetlenségeket nem tartalmazzák (minden csomópont össze van kötve egymással)
• Kerülni kell a túltanulást (jó a tréning adatokon, de rossz a generalizáció).

A struktúrák értékelése

• Két ellentétes cél:
  • Jó illeszkedés az adatokhoz: maximalizáld a log-valószínűséget.
  • Alacsony komplexitás: minimalizáld a paraméterek számát.
• Maximalizáld a pontszámozási metrikát a M (struktúra és paraméterek) változtatásával az adott D-hez. (log P(D|M) – α #(M))

Keresés a struktúrák térében

• A brute-force módszer nem alkalmazható.
• Lokális keresés a struktúra térében.
  • Kezdő struktúra.
  • Operátorok: ív hozzáadása, törlése vagy megfordítása.
  • Következő állapot kiválasztása.
  • Jelölt értékelése a maximum valószínűség paraméterek alapján.
  • Hegymászás, szimulált hőmérséklet.
  • Nincs irányított ciklus a struktúrában.

Kezdeti feltételek lehetséges megközelítései

• Nincsenek ívek.
• Véletlenszerű sorrend V₁, ..., Vₙ
• Vᵢ változónak van minden szülője V₁ ,..., Vᵢ₋₁
• A legoptimalizáltabb fa-háló
  • A legnagyobb súlyú összekapcsolt fa páros változók közötti kölcsönös információ alapján
  • Polinomális idő algoritmus.

Bayes-háló példája

• Tartomány 3 bináris csomóponttal.
• Mérési adatok: {(0,1,1), (0,1,1), (1,0,0)}
• Három struktúra jelölt:
  • M₁: {}
  • M₂: {A→B, A→C}
  • M₃: {B→A, C→A}
• 1. paraméterek becslése a CPT-k esetén
• 2. P(D|M₁) kiszámítása minden struktúrára a Bayes-i korrekcióval.

Ez a kvíz a Bayes-hálók tanításáról szól, beleértve a forrásokat és a valószínűségek becslésének technikai megközelítéseit. Különös figyelmet fordítunk az optimális, MAP és MLE becslésekre. Készülj fel, hogy mélyebb ismereteket szerezz a Bayes-hálók működéséről.