Algoritmi Paraleli și Distribuiți - Introducere

Un tip de memorie partajată în care toate procesoarele au acces egal și uniform la toate locațiile de memorie.

Un tip de memorie distribuită în care procesoarele nu au acces egal la toate locațiile de memorie. Unele locații pot fi accesate mai rapid decât altele.

Un tip de paralelism care operează pe nivel de instrucțiune, permițând ca instrucțiunile să fie executate simultan.

Un tip de paralelism care permite execuția simultană a mai multor procese sau fire de execuție.

Un mod de a realiza paralelism la nivel de task în care fiecărui proces îi este alocată o anumită perioadă de timp pentru a rula, alternând între procese.

Un tip de programare care folosește mai multe procesoare sau nuclee pentru a executa o sarcină în paralel, accelerând procesul.

Un tip de programare în care resursele sunt distribuite pe mai multe noduri conectate în rețea, permițând procesarea distribuită și creșterea scalabilității.

Reduce timpul necesar pentru a finaliza o sarcină.

Permite abordarea unor probleme mari și complexe, care ar fi imposibil de rezolvat cu resurse limitate.

Permite accesarea resurselor aflate la distanță, cum ar fi servere sau dispozitive.

Reduce costurile prin optimizarea resurselor și utilizarea eficientă a hardware-ului.

Oferă reziliență la erori și defecțiuni, deoarece o parte din sistem poate continua să funcționeze chiar dacă alte părți sunt inactive.

Permite creșterea capacității sistemului prin adăugarea de resurse suplimentare, fără a afecta performanța.

O situație în care rezultatul unei operații depinde de ordinea în care se execută multiple fire de execuție (thread-uri) care au acces la resurse partajate.

O condiție de cursă apare atunci când rezultatul unei operații depinde de ordinea în care se execută multiple thread-uri care accesează aceeași variabilă.

Într-o condiție de cursă, rezultatul operației poate varia în funcție de momentul în care fiecare thread accesează variabila.

Exemple de condiții de cursă includ operații simple cum ar fi: incrementarea unei variabile, modificarea unei liste sau accesul la un fișier.

În cazul adunării variabilei "a" cu 2 de către două thread-uri, rezultatul final poate fi 4 sau 2, în funcție de momentul în care fiecare thread citește valoarea lui "a" din memorie și scrie noua valoare.

Pentru a preveni condițiile de cursă, se folosesc mecanisme de sincronizare.

Exemple de mecanisme de sincronizare includ mutex-uri, semafoare și bariere.

Folosind mecanisme de sincronizare, se elimină condiția de cursă, rezultatul operației devenind predictibil și consistent, indiferent de ordinea în care se execută thread-urile.

Legea lui Moore se referă la observația că numărul de tranzistoare pe un cip integrat (circuit integrat) se dublează aproximativ la fiecare doi ani. Aceasta duce la îmbunătățiri semnificative ale performanței computerelor.

Programările secvențiale se confruntă cu mai multe limitări, inclusiv viteza de transmisie a datelor care este limitată de viteza luminii, miniaturizarea componentelor, cu un tranzistor care ar putea ajunge la dimensiunea unui atom, precum și costuri enorme asociate cu cercetarea și dezvoltarea noilor procesoare.

CMOS (Complementary Metal-Oxide Semiconductor) este o tehnologie utilizată în majoritatea circuitelor integrate moderne. Este o tehnologie de proiectare care permite o eficiență energetică ridicată și o densitate mare de tranzistoare.

Este crucial să înțelegem programarea paralelă și distribuită, deoarece tehnologiile bazate pe paralelizare sunt din ce în ce mai răspândite. De exemplu, blockchain, sisteme peer-to-peer, procesoarele multi-core se bazează pe paralelizare.

Taxonomia Flynn este o clasificare a arhitecturilor de calcul paralel, clasificând sistemele în funcție de fluxurile de instrucțiuni (IS) și de fluxurile de date (DS).

SISD (Single Instruction Stream, Single Data Stream) este un model de calcul clasic, utilizat în majoritatea computerelor personale. Are un singur procesor care execută instrucțiuni pe un singur set de date.

SIMD (Single Instruction Stream, Multiple Data Streams) este un model de calcul care permite executarea aceleiași instrucțiuni pe multiple date simultan. Procesoarele GPU și extensiile SSE sunt exemple de implementări SIMD.

MISD (Multiple Instruction Streams, Single Data Stream) se referă la sisteme specializate care execută instrucțiuni diferite pe același set de date. Este un model rar întâlnit.

MIMD (Multiple Instruction Streams, Multiple Data Streams) este un model de calcul care permite executarea instrucțiunilor diferite pe seturi de date diferite simultan. Majoritatea procesoarelor moderne (inclusiv procesoarele din telefoanele tale) utilizează MIMD.

Memoria partajată (shared memory) este un model de memorie în care mai multe procesoare pot accesa un singur spațiu de memorie. PRAM (Parallel Random Access Memory) este o arhitectură specifică care descrie relația dintre procesoare și memorie.

Un thread este o unitate de execuție independentă în cadrul unui proces. Acesta partajează memoria cu alte thread-uri din același proces. Într-un proces, mai multe fire de execuție pot rula simultan. Acest concept este utilizat pentru a crește performanța aplicațiilor prin divizarea sarcinilor în unități mai mici, care pot fi executate în paralel.

Multi-threading este un concept prin care se lansează mai multe thread-uri ale aceluiași proces. Aceste thread-uri se pot executa simultan pe același procesor sau pe procesoare diferite, crescând performanța aplicațiilor. Un task poate fi divizat în operații mai mici și se poate rula pe thread-uri separate, beneficiind de performanța procesorului.

Multi-tasking este un concept prin care un sistem de operare poate rula mai multe programe (de exemplu, aplicatii diferite, processes) simultan. Aceasta se realizează prin împărțirea timpului de procesor între programele care rulează.

O "condiție de cursă" apare atunci când rezultatul unei operații depinde de ordinea în care sunt executate mai multe thread-uri, putând duce la rezultate incorecte. De exemplu, dacă două thread-uri încearcă să modifice aceeași variabilă în același timp, rezultatul poate fi neașteptat. Este o problemă obișnuită în programarea multi-threaded.

Hyperthreading este o tehnologie care permite unui singur procesor fizic să execute două fire de execuție (thread-uri) independent. Acesta permite procesorului să proceseze mai multe instrucțiuni simultan, crescând performanța sistemului.

În multi-threading, thread-urile din cadrul aceluiași proces partajează resursele de memorie. Aceasta înseamnă că toate thread-urile au acces la aceleași date și cod, ceea ce poate fi de mare ajutor în optimizarea performanței.

Multi-tasking poate fi realizat pe mai multe procesoare. De exemplu, dacă ai un computer cu 4 procesoare, poți rula 4 programe separate (de exemplu, 4 aplicatii) în paralel, cu fiecare procesor ocupându-se de un program separat.

Da, se poate rula mai multe thread-uri pe un singur core. Fiecare core din procesor poate executa procesul în mod simultan utilizând thread-uri. Acest lucru permite utilizarea mai eficientă a resurselor de procesare.

O variabilă care poate fi modificată în siguranță de mai multe fire de execuție concurente, fără a provoca erori datorate condițiilor de cursă.

Un mecanism de sincronizare care permite accesul la o resursă partajată unui singur fir de execuție la un moment dat, asigurând că doar o singură operație critică poate fi executată pe resursa partajată la un moment dat.

Un bloc de cod care accesează o resursă partajată și trebuie executat în întregime fără a fi întrerupt de alte fire de execuție, prevenind apariția condițiilor de cursă.

Un mecanism de sincronizare folosit la pornirea simultană a mai multor fire de execuție, asigurând că toate firele de execuție sunt sincronizate la un punct specific de pornire în executia lor.

Un mecanism simplu de sincronizare care oferă o interfață pentru a proteja o resursă partajată împotriva accesului concurent, asigurând accesul simultan la resursă doar unui singur fir de execuție.

Un semafor binar se comportă ca o variabilă booleană, permițând doar un singur proces să acceseze o resursă la un moment dat.

O operație care trebuie executată în întregime, fără a fi întreruptă de alte operații, garantând că modificările aduse datelor sunt vizibile simultan tuturor firelor de execuție; este un concept vital pentru eliminarea condițiilor de cursă în programarea concurentă.

Un set de instrucțiuni care asigură că operația se execută ca o singură unitate indivizibilă, fără a fi întreruptă de alte fire de execuție, asigurând astfel consistența datelor.

Un concept esențial în programarea concurentă, unde se asigură că modificările aduse unei variabile sunt vizibile simultan la toate firele de execuție, prevenind confuzii în accesarea simultană a aceleiași date.