Xarxes Neuronals Recurrents

Introducció

• Un conjunt de dades amb estructura seqüencial intrínseca té una correlació espacial entre els elements.
• Definim les connexions en xarxes neuronals per aprofitar l'estructura seqüencial, resultant en xarxes neuronals recurrents.
• Les xarxes neuronals recurrents es poden construir de diverses maneres, abordant les formes més habituals i els seus casos d'ús.
• El primer capítol tracta el concepte fonamental de recurrència, els tipus de xarxes neuronals recurrents i l'ús de la retropropagació per a l'entrenament.
• El segon capítol analitza l'estructura interna de les cel·les LSTM i GRU.
• El concepte d'atenció com a base de l'arquitectura de transformadors s'aborda en el tercer capítol, dedicat a les formes de connectar cel·les per a models predictius millors.
• L'ús d'una xarxa neuronal recurrent per a la predicció d'una sèrie temporal generada sintèticament es mostra al quart capítol

Objectius

• Entendre el cas d’ús de les xarxes neuronals recurrents.
• Comprendre els principals tipus d’operacions que realitza una xarxa neuronal recurrent.
• Conèixer les diferents arquitectures que es poden utilitzar amb xarxes neuronals recurrents.

Fonaments de les xarxes recurrents.

• Els principis fonamentals de les xarxes neuronals recurrents es presenten en aquest capítol.
• El concepte de "recurrència" s'estudia, es destaquen els tipus de xarxes neuronals recurrents i es descriu el mètode d'entrenament.

Concepte de recurrència

• En les xarxes neuronals anteriors, la informació es mou en una sola direcció (feedforward), però una xarxa neuronal pot tenir connexions d'una capa posterior a una anterior.
• La capa oculta està connectada a les dades d'entrada i a la sortida de la xarxa neuronal; la xarxa utilitza la informació del registre actual i l'anterior.
• Això crea un estat intern o memòria, en la xarxa, que canvia la resposta en un registre d'entrada.
• Aquestes connexions són adequades per a seqüències de dades com sèries temporals o textos.
• Per analitzar el sentiment d'una frase, les paraules s'introdueixen una per una perquè l'estat de la xarxa evolucioni fins a la sortida observada.
• Tractar seqüències de dades amb xarxes connectades completament requereix fixar la longitud de les seqüències.
• Un problema sorgeix quan les seqüències tenen els mateixos valors en un ordre diferent, requerint entrenar amb totes les variacions possibles, cosa que és inviable.
• Les xarxes neuronals recurrents són més interessants en els casos en què l'ordre de les paraules influeix en el significat de la frase en comparació amb les connectades completament.
• Les paraules es processen per ordre, però l'ordre es considera una font d'informació important.
• Les connexions recurrents poden ser de molts tipus, definint-se el concepte de "cel·la" per a un estudi unificat.
• Una cel·la és una operació amb dues entrades i dues sortides que es compon amb si mateixa mentre s'aplica l'operació als valors de la seqüència.
• Els punts d'entrada de cel·la corresponen als valors de seqüència per registre i a l'estat de la xarxa neuronal en el pas anterior.
• Els punts de sortida mostren l'estat de la xarxa en el pas concret i la resposta de la xarxa per a aquest pas.
• Les entrades i sortides d'una cel·la poden bifurcar-se o concatenar-se per tenir més o menys de dues entrades i sortides, però el concepte fonamental de cel·la roman.
• Denotem el pas concret d'una seqüència amb la lletra (t), on els valors de la seqüència són vectors de dimensió m, denotem el vector d'entrada a la xarxa com xt ∈ Rm.
• La sortida en cada pas (t) de recurrència pot ser un vector de dimensió l, ht ∈ Rl i st ∈ Rn representa l'estat de la xarxa.
• Per a una cel·la f, l'operació que calcula la cel·la se sol representar internament amb neurones i connexions no recurrents entre les neurones.
• L'estat de la xarxa en t és una funció de l'entrada en t i de l'estat de la xarxa en t-1.
• Si es considera una xarxa neuronal recurrent en la seva generalitat, la sortida de la xarxa en un moment donat pot dependre de dades tant antigues com llarga sigui la seqüència.
• Per a les xarxes neuronals recurrents, es tria un valor k que fixa la longitud de les seqüències que tractarà la xarxa. Si les seqüències tenen una longitud menor que k, s'hi afegeixen valors de farciment especials.
• Quan les seqüències són més llargues que k a les sequencies més llargues, el valor triat es talla i descarta part de la seqüència
• Fixat el valor k, la xarxa es desplega, convertint la xarxa neuronal recurrent en una xarxa neuronal feedforward.
• Els paràmetres interns de les cel·les es comparteixen en tots els passos, per tant els valors dels paràmetres són iguals a cada pas.
• La diferència entre un pas i el següent està unicament en les entrades corresponen a l'estat de la xarxa i les dades d'entrada.
• Els paràmetres interns de la xarxa fixen la funció f : Rm+n → Rn+l, escrivint la recurrència com: (h1, s1) = f(x1, s0), (h2, s2) = f(x2, s1),..., (ht, st) = f(xt, st-1)

Tipus de xarxes neuronals recurrents

• Les xarxes neuronals recurrents són útils per tractar seqüències de dades, i es pot distingir entre diferents tipus depenent del problema.
• Es pot considerar únicament algunes de les entrades o de les sortides de les cel·les de la xarxa, donant lloc als tipus de xarxes recurrents.
• Quan les seqüències tenen diverses dades d'entrada i només interessa un valor al final de la recurrència, s'obté informació sobre textos.
• Si es treballa amb seqüències amb un valor i interessa generar una sortida amb diversos passos, s'introdueix un valor nul a partir del segon pas i s'observa la sortida per una descripció d'una imatge d'entrada.
• Quan es tracten seqüències amb valors i interessa els que genera la xarxa neuronal un cop processada la seqüència es pot fer igual que l'anterior per predir temporals.
• Si es treballa amb seqüències que tenen diversos valors i necessiten una resposta sincronitzada per cada entrada s'obté dades en un vídeo per classificar per fotogrames.
• Les cel·les tenen sempre dues entrades i dues sortides; si no n'apareix alguna, s'ignora o s'introdueix un valor nul.

Entrenament d’una xarxa neuronal recurrent

• En xarxes completament connectades, la retropropagació permet calcular el gradient d'una funció de cost.
• L'algorisme de retropropagació no es pot aplicar directament en xarxes recurrents degut a les connexions entre neurones de capes posteriors amb anteriors.
• Entrenar implica trobar uns valors pels paràmetres de la xarxa que minimitzin una funció de cost, aplicable a xarxes recurrents
• Les xarxes neuronals recurrents es poden entrenar amb qualsevol algorisme d'optimització; retropropagació mostra una adaptació útil també en xarxes recurrents.
• L'adaptació anomenada retropropagació en el temps (backpropagation through time) és desenrotllar la xarxa per convertir-la en una xarxa feedforward i aplicar l'algorisme.
• El gradient de la funció de cost pot afectar un mateix paràmetre, depenent de les sortides considerades.
• El mètode de retropropagació calcula l'error a cada sortida, propagant cap enrere a cada pas.
• Si es calcula quant un paràmetre d'una xarxa neuronal contribueix al gradient dependrà del pas, i dels valors d'entrada.
• Gradient depèn del producte del gradient en els passos posteriors quan hi ha connexions recurrents directes de capes posteriors a anteriors.
• La quantificació de quant contribueix al gradient un paràmetre en passos inicials del gradient apareixerà elevada a una potència.
• El gradient es veu multiplicat amb si mateix, provocant dos problemes: desaparició del gradient i explosió del gradient.
• Desaparició del gradient: la norma del gradient quan és menor que 1, en multiplicar el gradient el resultat és pràcticament 0.
• El valor dels paràmetres de la xarxa es veurà influenciat pels últims passos de la recurrència i la xarxa no serà prou important.
• Explosió del gradient: si la norma del gradient és major que 1, en multiplicar el gradient amb si mateix el resultat és immensament gran.
• Les modificacions aplicades fa que hi hagi excessos de fluctuacions i desestabilitza l'entrenament.

Tipologia de cel·les recurrents

• La solució per resoldre els problemes d’explosió i desaparició utilitza cel·les amb connexió on existeix una connexió entre l’estat anterior i la sortida.
• Aquesta mena de cel·les controla la informació que utilitza per a connexió directa un concepte similar a les portes lògiques, modelades amb neurones.
• Al capítol es veuran les dues arquitectures de cel·les: LSTM i GRU.

Long Short Term Memory (LSTM)

• Les seqüències que s'analitzen amb una xarxa capaç de presentar dependències presents entre punts separats en punts de la seqüència molt separats.
• Per exemple, fent referència a conceptes explicats centenars d eparaules abans per la qual cosa es necessita diversos passos.

Estructura de les cel·les

• Models que presenten desaparició o explosió per tal d'intentar-ne mitigar els problemes degut a la complexitat del Long Short Tem Memory (LSTM)
• Les entrades d'una cel·la LSTM són les dades de la seqüència en el pas corresponent i la concatenació de l'estat i la sortida de la xarxa al pas anterior.
• Se sul representar les cel·les LSTM amb tres entrades per evitar concatenar vectors i separar just a l'inici del pas següent.
• Una xarxa LSTM aprèn seqüencies amb dependències entre punts proper o separats degut a: El canal de memòria es pot observar com una línia horitzontal a la part superior de la cel·la i el control del flux mitjançant portes
• L'arquitectura de la LSTM es basa a controlar la informació que es guarda a l'estat i el flux per la part superior i informació que produeix com a resposta mitjançant les portes.

Porta d’oblit

• Observa el valor d'entrada de la cel·la juntament amb la sortida de la xarxa en el pas i decideix quina part de la memòria s'ha de conservar.
• La porta calcula un vector ft de la mateixa longitud segons: ft = σ(Wf · [ht–1, xt] + bf) on Wf és una matriu de paràmetres i bf és un vector de biaixos.
• Pot aprendre a esborrar tota la memòria quan l'entrada indiqui que tracta amb el consum del dilluns si en cada pas afegeix informació sobre el dia de la setmana.

Porta d’entrada

• Controla la informació que s'afegeix a la memòria completament anàloga però no comparteixen.
• Calcula la porta d'entrada és la següent : it = σ(Wi · [ht–1, xt] + bi) on Wi és una matriu de paràmetres i bi és un vector de biaixos.
• Pot aprendre a reconèixer les paraules que porten informació i deixar només que deixi passar només la informació que correspon a paraules a frases femení o masculí.
• Es calcula la informació que es candidata a afegir-se a la memòria segons: s̃t = tanh(Ws · [ht–1, xt] + bs)
• Ws és una matriu de paràmetres i bs és un vector de biaixos.
• L'estat de la xarxa s'actualitza segons: st = ft ⊙ st–1 + it ⊙ s̃t
• ⊙ denota el producte de vectors component a component.

Porta de sortida

• En conèixer l'estat que tindrà cal decidir la sortida en el pas, la porta de sortida segueix un process similar al de la porta d'entrada.
• Observa el valor d'entrada amb la sortida i calcula un vector: ot = σ(Wo · [ht–1, xt] + bo)
• El vector marca quina informacio es: ht = ot ⊙ tanh(st )

Consideracions sobre les cel·les LSTM

• Totes les fórmules anteriors descriuen capes de la xarxa neuronal, amb funció sigmoide o amb la tangent com a funció d'activació.
• Dóna el nom a les xarxes neuronals recurrents.
• El punt interessant de controlar una memòria amb portes, controla de manera que les portes poden prendre valor entre 0 i 1
• Fa que puguin deixar passar información només una part.
• La xarxa podria mantenir la tendència en components de l'estat i, quan l'entrada a una cel·la digui que és diumenge, pot multiplicar la porta d'oblit per 0.8.
• La porta d'entrada podria aprendre a detectar quanta informació conté cada paraula i com modular el pas cap a la memòria si l'exemple extreure informació d'una frase.
• Les LSTM utilitzades calculen l'estat i la informació del gradient del cost flueixi, cosa permesa i per aprendre dependències.
• La retallada del gradient fixa el valor màxim per a cada component del gradient.

Gated Recurrent Unit (GRU)

• S'han investigat en cel.les les que es controla el flux deixant passar memòria per a la xarxa.
• Una de les vàries és la Gated Recurrent unit que presenta una estructura a la figura 11 amb unes dues sortides que són exactament iguals.

Estructura de les cel·les

• Es pot veure com a simplificació de cada que es fusiona l’estat i la resposta de la xarxa i la nova informació és que permet que l'estat de la xarxa sigui una mitjana.
• Xarxes que han demostrt en donar un redinment similar, però les cel.les GRU es donene en molts casos ja que a cel.les GRU existeix menys donat.
• El flux d’informació amb en les portes de reset i actualitzacio.

Porta de reset

• Permet seleccionar quina part de quina informació s'utilitzarà per a cada pas i observar un vector per a la connexió.
• r_t= σ(W_r [h_(t-1),x_t↑]+b_r)
• W on r Multiplicant a x-1 i amb B on r.

Porta d’actualització

• De cel-la LSTM és tot i només que s'hagi donat una cèl·lula és una cel·la que controla quina informació roman i pot ser que es calci.
• L'estar per sobre d'esquena. Es la situació en que es precaria del vector z sigma on w i menys no hi ha res i això i va ser

Consideracions sobre les cel·les GRU

• Comentant anteriorment la cel és certa e manra.
• Altre tipus de cel-les.

Arquitectures de xarxes recurrents

• S'han d'organitzar per connectar cel·les de manera que pugui obtenir altes prestacions.

Xarxes neuronals recurrents bidireccionals

• En molts d'aaquestss casos es clarament temporal com series temporals en altres formades per sequencies sense component temproal.
• És important en l'ordre en que s'introdueixi per evaluar l'odre depenent d'idioma.
• Són posibles aprofitant capes neuronas recurreent a direccioes o arquitecuras que primer s'plica a cada ordres.
• S’uneix un esquema de coneixaments pero el estta de les cerques.
• la funció una maitexa direction és per la qual no equival.

Xarxes neuronals recurrent profundes

• En observar la cel. l. LSTMS o per les operations a la figura és per les que el grafic de que siguem capacitats.
• Per a donart per les neurones recorrents o la matixa cap es que s'indepenent entre d'entre les cel.Les.
• A traves de diversos que passades l'origen la info que a les xarxes i especialitzats cadasquna.
• En una xarxa neuronal recurrent s’uneixen els resultats dels gradients i dels nivells.
• És imresindibles que disposat la millor informació

Arquitectura codificador-descodificador

• La figura és que una xarxa que pugui tenir cel.les combinacions i sequencions.
• Es veura a sequenciacomplets.
• Una xarxa arquitectura d’aquell és un descodifacdor.
• La conexió esta comprimida en per la qual el seu grafic en tot el procces .
• el vector sigui capac de tactar molts casos del grafic es pot.

Mecanisme d’atenció

• Per millorar en aquesta compresiò es busca una ajuda del proces per aquets conexiò.
• La neurona vol ajudar a construir una info mes condensa..
• En lloc util a vector atilio a representa o s'utiltiztz a suma porndeda per els estat dels pasas la Neurona d'atrncia.
• La funció suma a cad moment és la de conctret en qual es trobra.
• Es possible represetar de parts mes fidelita.

Consells pràctics i exemples

• Centrats a conscells pràctics per treballar les series temporals per la creacid d e models predictius i veure algun problemas resoolvent amb l'RNN.

Consells pràctics en l’ús d’RNN

• Problemes resolvents des de la neurona recorrent la característiques en cada situacció.
• En procesameint de les dades per exemple serie temps de l'eliminacò.

Sèries temporals

• Hi ha uan sèrie de temps que hi va en els components irregulars aquest descomponsiò pot relitzcar tant al mode additia com multiplicat.

Representar numèricament les paraules en el treball amb textos

• La funcio primer hi es un que és tot al vocabalri de la dimensió per tal que tingui els valors de cada component que hi tingui la relacio. Amb WordVev o altre que se suposa que cada informació el tenim al nostre alcance.

Resum

• Aquest mòdul ha mostrat els conceptes bàsics de recurrència en una memòria que a part també té capacitat predictiva.
• Estructura seqüencia ja que xarxa recorrernt tractarà cada registre així en manera seqüencia.
• Té connexió recursionrs formes moltes facilitat als treballs.
• També a les céluses LSTM Hi Gru.
• Depenent de les neurones tot es basa en dos factors bàsicss
• Té funció amb que en tot moment és no siguin sinó que siguin liineals al que el senyal.
• Depenent a la gent i de la que té el preu tenim aquet que tot quedi al seu lloc.
• Arquitetura tenim la seva atreccio i es podra acoplar-ho tot que es veura a futurs mòduls.

Glossari

• Atenció: Mecanisme que permet a una xarxa neuronal amb arquitectura seq2seq utilitzar informació focalitzada de la seqüència d'entrada segons sigui l'estat de la descodificació.
• cel·la: Model abstracte per representar l'arquitectura d'una xarxa neuronal com a combinació d'operacions amb dues entrades i dues sortides.
• GRU: Gated Recurrent Unit, tipus de cel·la utilitzada en xarxes neuronals recurrents. Es pot considerar com una simplificació d'una cel·la LSTM.
• LSTM: Long Short Term Memory, tipus de cel·la molt utilitzada en xarxes neuronals recurrents.
• recurrència: Situació en la qual la sortida de les neurones d'una xarxa neuronal es connecta amb l'entrada de les neurones d'una capa anterior.
• seq2seq: Arquitectura de xarxa neuronal amb dues parts fonamentals, un codificador i un descodificador, molt utilitzada quan el problema a tractar consisteix en la transformació de seqüències d'entrada en seqüències de sortida (per exemple, en problemes de traducció automàtica).