Evaluarea Performanței în Calculatoare

Introducere

• Indicatorii de performanță includ timpul de execuție, timpul UCP, MIPS și MFLOPS.
• Există programe specifice pentru evaluarea performanței, inclusiv Legea lui Amdahl.

Programe de evaluare a performanțelor

• Se realizează compararea și sintetizarea performanțelor.
• Se urmărește evoluția programelor de evaluare a performanțelor.
• Un exemplu de program de evaluare a performanțelor este SPEC CPU2017.

Măsurarea performanței

• O măsură a performanței este timpul de execuție al unui set reprezentativ de programe.
• Timpul total de execuție poate fi determinat prin media aritmetică sau geometrică a timpilor de execuție.
• Setul de programe trebuie să fie reprezentativ pentru un anumit mediu de programe (benchmark).

Compararea și sintetizarea performanțelor (1)

• Modul de sinteză a performanței unui grup de programe de evaluare.
• Exemplu de situație în care performanța relativă a două calculatoare nu poate fi definită.
• Dată este o comparație, cu valori de timp pentru două calculatoare și programe diferite.

Compararea și sintetizarea performanțelor (2)

• Timpul total de execuție este o metodă simplă de comparație.
• Se definește un raport de viteză pentru a compara performanța calculatoarelor A și B.
• Este prezentată o formulă pentru media aritmetică a timpilor de execuție.

Compararea și sintetizarea performanțelor (3)

• Se folosește media aritmetică ponderată a timpilor de execuție pentru comparații.
• Ponderea fiecărui program este proporțională cu frecvența de execuție a acestuia.
• Ponderile sunt adaptate pentru a obține rezultate corecte în comparații.

Compararea și sintetizarea performanțelor (4)

• Normalizarea valorilor timpilor de execuție relativ la un calculator de referință.
• Se utilizează media aritmetică pentru a normaliza rezultatele.
• Rezultatul depinde de alegerea calculatorului de referință.

Compararea și sintetizarea performanțelor (5)

• Timpii de execuție sunt normalizați față de un alt calculator, determinând care este mai rapid.
• Se prezintă exemple cu calculatoarele A și B, cu timpi de execuție normalizați.

Compararea și sintetizarea performanțelor (6)

• Timpii de execuție sunt normalizați față de calculatorul B, determinând care este mai rapid.
• Se prezintă exemple cu calculatoarele A și B, cu timpi de execuție normalizați.

Compararea și sintetizarea performanțelor (7)

• Se prezintă calcularea mediei geometrice a timpilor de execuție.
• Se arată că media geometrică este independentă de seria datelor utilizate pentru normalizare.
• Se prezintă proprietatea mediei geometrice.

Compararea și sintetizarea performanțelor (8)

• Rezultatul este același indiferent de calculatorul utilizat ca referință.
• Se prezintă avantajele mediei geometrice, ca și independența de timpii de execuție ai programelor individuale.
• Se discută și dezavantajele, ca și absența anticipării performanțelor.

Evoluția programelor de evaluare a performanțelor (1)

• Metricile MIPS și MFLOPS sunt utilizate.
• Se utilizează programe artificiale sau sintetice pentru evaluare.
• Scopul este crearea de programe în care frecvențele de execuție sunt aceleași cu cele ale programelor reale.

Evoluția programelor de evaluare a performanțelor (2)

• Whetstone, un program sintetic publicat de National Physical Laboratory (NPL).
• Bazat pe măsurători asupra aplicațiilor științifice și inginerești în limbajul Algol 60.
• Rescris și ulterior în limbajele Fortran și Pascal, punând accent pe operațiile în VM.

Evoluția programelor de evaluare a performanțelor (3)

• Dhrystone, un program sintetic creat pentru evaluarea programelor de sistem.
• Se bazează pe măsurători ale frecvențelor de execuție ale instrucțiunilor.
• Nu pune accent pe operațiile în VM.

Evoluția programelor de evaluare a performanțelor (4)

• Dezavantajele programelor sintetice: nu reflectă comportamentul programelor reale.
• Optimizările compilatorului sau hardware-ului pot influența rezultatele.
• Un exemplu: compilatoarele pot elimina o fracțiune din codul programului Dhrystone.

Evoluția programelor de evaluare a performanțelor (5)

• Programe nucleu (kernel) de evaluare, extrase din programe reale.
• Elaborate pentru evaluarea supercomputerele (supercalculatoare).
• Exemple: Livermore Loops și Linpack, utilizate pentru evaluarea performanțelor aplicațiilor științifice.

Evoluția programelor de evaluare a performanțelor (6)

• SPEC (Standard Performance Evaluation Corporation), fondată în 1988.
• Este o organizație non-profit care elaborează și actualizează seturi standardizate de programe de evaluare bazate pe programe reale.
• Seturile de programe conțin cod sursă și utilitare pentru generarea rapoartelor de performanță.

Evoluția programelor de evaluare a performanțelor (7)

• SPEC89, primul set de programe de evaluare (1989).
• Calcularea unei singure metrici folosind media geometrică a timpilor de execuție normalizați față de calculatorul VAX-11/780.
• SPEC92, care include metrici separate pentru calculele cu numere întregi (SPECINT) și numere în virgulă mobilă (SPECFP).

Evoluția programelor de evaluare a performanțelor (8)

• SPEC CPU95, SPEC CPU2000 și SPEC CPU2006.
• Versiunea actuală: SPEC CPU2017.
• Categorizată în trei grupuri: Open Systems Group (OSG), High Performance Group (HPG) and Graphics Performance Characterization Group (GPCG).

SPEC CPU2017 (1)

• Dezvoltat de grupul OSG.
• Măsoară performanța UCP, sistemului de memorie și a generării codului de către compilator.
• Conţine porţiuni din 43 de aplicații reale în limbajele C, C++ şi FORTRAN.

SPEC CPU2017 (2)

• Îmbunătățiri față de versiunile anterioare: complexitate și dimensiuni mai mari ale programelor de evaluare.
• Posibilități de utilizare a interfeței de programare OpenMP pentru evaluarea sistemelor paralele.
• Măsurarea consumului de energie.

SPEC CPU2017 (3)

• Două tipuri de măsurători: măsurarea vitezei de execuție și a ratei.
• Viteza SPEC măsoară timpul de execuție al tuturor programelor.
• Rata SPEC măsoară numărul de programe executate într-o unitate de timp (pe oră).

SPEC CPU2017 (4)

• Se calculează media geometrică a indicatorilor.
• Timpii de execuție sunt raportați la un calculator de referință.
• Sun Microsystems Sun Fire V490 cu procesoare UltraSPARC IV+ (2,1 GHz) pentru a stabili un timp de referință.

SPEC CPU2017 (5)

• Exemple de programe pentru numere întregi: 502.gcc_r, 520.omnetpp_r, 525.x264_r, 531.deepsjeng_r, 548.exchange2_r.

SPEC CPU2017 (6)

• Exemple de programe pentru numere în virgulă mobilă: 508.namd_r, 511.povray_r, 521.wrf_r, 526.blender_r, 538.imagick_r.

Legea lui Amdahl (1)

• Indică creșterea performanței obținută prin îmbunătățirea unei anumite părți a unui calculator.
• Îmbunătățirea obținută prin utilizarea unui mod mai rapid de execuție este limitată de fracțiunea de timp în care modul mai rapid este utilizat.

Legea lui Amdahl (2)

• Se prezintă formulă pentru calcularea creșterii vitezei.
• Se definesc variabilele Pimb (performanța obținută utilizând îmbunătățirea) și Pneîmb (performanța obținută fără utilizarea îmbunătățirii).
• Se prezintă o formulă alternativă cu tEimb and tEneimb

Legea lui Amdahl (3)

• Creșterea vitezei depinde de fracțiunea de timp în care se poate utiliza îmbunătățirea (Fimb).
• Creșterea vitezei prin utilizarea numai a modului îmbunătățit
• Se prezintă formula pentru calcularea timpului de execuție utilizând calculatorul original în modul îmbunătățit.

Legea lui Amdahl (4)

• Formula rezultată pentru calcularea timpului de execuție în noul model.
• Formula pentru calcularea creșterii totale a vitezei.

Legea lui Amdahl (5)

• Un exemplu de aplicare a Legii lui Amdahl, îmbunătățind instrucțiunile de calcul în virgulă mobilă.

Legea lui Amdahl (6)

• Un alt exemplu, presupunând că se poate îmbunătăți viteza UCP de 5 ori, în timp ce costul crește de 5 ori.
• UCP-ul este utilizat în 50% din timp.
• Costul UCP reprezintă 1/3 din costul total al calculatorului.

Rezumat (1)

• Pentru sintetizarea performanței unui grup de programe de evaluare se pot utiliza diferite metrici.
• De obicei, se utilizează media geometrică a timpilor de execuție normalizați.

Rezumat (2)

• Programe nucleu (kernel) de evaluare utilizate pentru evaluarea performanțelor supercalculatoarelor.
• SPEC CPU2017: pachet de programe care evaluează performanța UCP, a memoriei si generaarea codului de catre compilator.
• Seturi de metrici (SPECspeed2017 si SPECrate2017).
• Măsurători ale vitezei de execuție și a ratei.

Rezumat (3)

• Legea lui Amdahl indică creșterea vitezei care se poate obține prin îmbunătățirea unei părți a unui calculator.
• Factori de care depinde creșterea vitezei: fracțiunea de timp în care se poate utiliza îmbunătățirea, creșterea vitezei obținute prin utilizarea îmbunătățirii.
• Indică modul de distribuire a resurselor pentru a optimiza raportul cost/performanță.

Noţiuni, cunoștinţe (1)

• Metode de sintezare a performantelor unui grup de programe de evaluare: metrici, media aritmetică ponderată a timpilor de execuție normalizați.
  • Avantaje și dezavantaje ale utilizării mediei geometrice a timpilor de execuție.
  • Ce înseamnă programe artificiale(sintetice) de evaluare a performanțelor.

Noţiuni, cunoștinţe (2)

• Programe nucleu (kernel); setul standard de programe de evaluare SPEC CPU 2017.
• Măsurători pentru evaluarea SPEC CPU 2017.
• Viteza și rata SPEC.
• Legea lui Amdahl.
• Factori care afectează creșterea vitezei conform Legii lui Amdahl.