Big Data und KI 7

Big Data Analysen mit R

• Neben Verfahren, Algorithmen und Software sind Programmiersprachen notwendig, um Big Data nutzbar zu machen.
• Die Programmiersprache "R" wird häufig im Data Mining und der statistischen Datenverarbeitung verwendet.
• R hat eine kostenlose Benutzeroberfläche.
• Das Kapitel verwendet R, um einen Einblick in die Analysemöglichkeiten von Big Data zu geben, selbst wenn die Datensätze nicht "Big Data" entsprechen.
• Die Beispiele vermitteln das Potenzial durch ein geleitetes Hands-on für erste direkte Anwendungen.

Installation von R

• Um R zu nutzen, müssen zwei kostenlose Softwarepakete installiert werden.
• Installiere R für das Betriebssystem von dieser Webseite: https://cran.r-project.org/
• Installiere die R Benutzeroberfläche, um R einfach zu verwenden von dieser Webseite: https://posit.co/download/rstudio-desktop/#download

Einfache Datenanalyse mit R

• R ermöglicht das Einlesen, Zusammenführen, Bearbeiten, Analysieren, Auswerten und Visualisieren großer Datenmengen.
• Es können SQL-basierte Abfragen oder EXCEL-Tabellen eingelesen werden.
• R verfügt über vorinstallierte Datensätze.
• Der Datensatz "mtcars" kann geladen und die ersten 6 Zeilen angezeigt werden mit diesem Code:

  data(mtcars)
  head(mtcars, 6)
  

Variablen in Datensätzen

• mpg: Meilen pro Gallone
• cyl: Anzahl Zylinder
• disp: Hubraum
• hp: Pferdestärke
• drat: Hintere Achsenübersetzung
• wt: Gewicht in 1000 lbs
• qsec: 1/4 Meilenzeit
• vs: V/S
• am: Getriebe (0 = Automatik, 1 = manuell)
• gear: Anzahl Gänge
• carb: Anzahl Verdampfer
• Auch mit einem solch kleinen Datensatz können Analysen vorgenommen werden, um ein Verständnis zu erhalten, welches praktisch anwendbares Potenzial von Big Data ausgeht.

Minima und Maxima im Datensatz anzeigen lassen

• Der Code filtert das Auto mit dem höchsten und niedrigsten Spritverbrauch (mpg) heraus.
• Mit diesen Befehlen im linken oberen Fenster können die Werte bestimmt werden:

  min(mtcars$mpg)
  max(mtcars$mpg)
  

• Die Ausgabe enthalt zwei Zeilen

  [1] 10.4
  [1] 33.9
  

• Das verbrauchsintensivste Auto fährt 10,4 Meilen, das sparsamste 33,9 Meilen pro Gallone.

Zusammenfassung des Datensets mit Mittelwerten und Variablen-Minima und -Maxima

• Für die 11 Variablen kann eine Reihe von Vergleichswerten ausgegeben werden mit dem Befehl:

  summary(mtcars)
  

• Für alle 11 Variablen werden Minimalwerte (Min.), das erste Quartil (1st Qu.), den Median, das arithmetische Mittel (Mean), das dritte Quartil (3rd Qu.) und das Maximum (Max.) angezeigt.

Konkrete Analyse von Minima- und Maxima-Werten

• Der Code bestimmt das Auto mit der niedrigsten und höchsten PS-Anzahl (Variable hp).
• Die Suchaufträge lauten:

  rownames(mtcars)[which.max(mtcars$hp)]
  rownames(mtcars)[which.min(mtcars$hp)]
  

• rownames(mtcars) gibt die Zeilennamen (Modellnamen der Autos) des mtcars-Datensatzes zurück
• which.max(mtcars$hp) sucht den Index der Zeile mit mit der höchsten Anzahl an Pferdestärken.
• which.min(mtcars$hp) macht das gleiche, sucht aber nach der niedrigsten Anzahl an Pferdestärken.
• Nach Ausführung des Codes tauchen diese Zeilen auf:

  [1] "Maserati Bora"
  [1] "Honda Civic"
  

• Der Maserati Bora hat den höchsten Verbrauch und Honda Civic den niedrigsten.

Datenvisualisierung mit R

• Es können grafisch aufbereitete Outputs generiert werden.
• Zum Beispiel der Zusammenhang zwischen der Anzahl der Zylinder und dem Spritverbrauch.
• Das Packet ggplot aus der Sammlung tidyverse wird verwendet.
• Tidyverse ermöglicht die effiziente Datenverarbeitung.
• Der Code erstellt ein Streudiagramm für den Zusammenhang zwischen der Anzahl der Zylinder und dem Benzinverbrauch unter Verwendung der ggplot2-Bibliothek des tidyverse-Pakets.

  install.packages("tidyverse")
  library(tidyverse)
  ggplot(mtcars, aes(x=cyl, y=mpg)) +
  geom_point()
  

• install.packages("tidyverse") installiert das tidyverse-Paket.
• library(tidyverse) lädt das tidyverse-Paket in die R-Sitzung.
• ggplot(mtcars, aes(x=factor(cyl), y=mpg)) + geom_point() visualisiert die Daten mit der ggplot2-Funktion.
  • ggplot: Die Funktion, die das Diagramm erstellt.
  • mtcars: Der Datensatz
  • aes(x=factor(cyl), y=mpg): Die "ästhetischen" Mappings legt fest, welche Variablen auf den Achsen dargestellt werden.
    • x=factor(cyl): Auf der X-Achse wird die Anzahl der Zylinder (cyl-Spalte im mtcars-Datensatz) dargestellt.
    • y=mpg: Auf der Y-Achse wird der Spritverbrauch in Meilen pro Gallone (mpg) dargestellt.
  • geom_point(): Fügt dem Diagramm Punkte (Scatterplot) hinzu

Korrelationsanalyse zwischen Gewicht und Verbrauch

• Eine grafische Analyse ist mit diesem Code möglich:

  ggplot(mtcars, aes(x=wt, y=mpg)) +
  geom_point() +
  geom_smooth(method="lm", se=FALSE, color="blue") +
  labs (x = "Gewicht (1000 lbs)", y = "Meilen pro Gallone",
  title = "Streudiagramm: Gewicht -- Meilen pro Gallone")
  

• ggplot() startet die Diagrammerstellung und verwendet den mtcars-Datensatz.
• geom_point() fügt Punkte in das Diagramm ein, um die Daten als Streudiagramm darzustellen.
• geom_smooth() fügt eine Trendlinie hinzu.
  • Die Option method="Im" berechnet eine lineare Regressionslinie.
  • labs() fügt Achsenbeschriftungen und einen Titel hinzu.
  • "Gewicht (1000 lbs)", y = "Streudiagramm: Gewicht -- Meilen pro Gallone

Korrelationsmatrix

• Es können nicht nur Korrelationen, sondern auch alle möglichen Korrelationen aller Variablen untereinander als Korrelationsmatrix visualisiert werden.
• Der Befehl „heatmap“ wird verwendet, in welchem auch die Achsenbeschriftung und die Überschrift der Grafik festgelegt werden kann.

  cor_matrix <- cor(mtcars)
  heatmap(cor_matrix,
  main = "Heatmap Korrelationsmatrix")
  

  • cor_matrix <- cor(mtcars) berechnet eine Korrelationsmatrix für den Datensatz mtcars.
  • Die Funktion cor() berechnet die paarweisen Korrelationskoeffizienten zwischen allen numerischen Variablen im Datensatz.
    • Der Wert 1 bedeutet eine perfekte positive Korrelation, -1 bedeutet eine perfekte negative Korrelation, und 0 bedeutet keine Korrelation.
  • heatmap() erzeugt eine grafische Darstellung der Korrelationsmatrix als Heatmap.
  • main setzt den Titel der Grafik.
• Die Heatmap zeigt, wie stark die verschiedenen Variablen miteinander korrelieren.
  • Eine dunklere Farbe bedeutet eine stärkere Korrelation, eine hellere Farbe eine schwächere.

Vor- und Nachteile der Nutzung von R im Rahmen von Big- Data-Analysen

• Generierung oder Einlesen der Daten.
• In einem Softwareprogramm wird unter Verwendung einer Programmiersprache eine Umgebung geschaffen. Dann wird R installiert.
• Die Analysen müssen definiert werden: Maximal- oder Minimalwerte und Korrelationen.
• Die Analyse wird in die R-Programmiersprache „übersetzt" und als Codezeile im Programmcode eingefügt.
• Das Programm wird ausgeführt und generiert den Output.
• Der Output wird analysiert und als Entscheidungsgrundlage genutzt.
• R läuft auf in-memory-Daten, was bedeutet, dass die zu analysierenden Daten in den Arbeitsspeicher des PCs passen müssen, was im Bereich Big Data kritisch ist.
• R und die recht einfach gehaltenen Programmiersprache sind recht einfach zu bedienen.
• Vorteil ist die kostenlose Verfügbarkeit der Softwarepakete.
• R kann mit Infrastrukturen aus Abschnitt 4.3 kombiniert werden.