MBP206 Ders 4: Pandas-Matplotlib Kütüphanesi

• MBP206-Yapay Zeka Uygulamalarında Temel Kavramlar ders notları, Ders 4: Pandas-Matplotlib kütüphanesidir.

Pandas Kütüphanesi

• Numpy üzerine inşa edilmiş, açık kaynaklı bir Python kütüphanesidir. Seri ve DataFrame gibi kullanışlı veri yapılarına sahiptir.
• import pandas as pd şeklinde çağrılır.

Pandas Fonksiyonları

• pd.Series() tek boyutlu bir Series veri yapısı oluşturur.
• pd.DataFrame() çok boyutlu bir DataFrame veri yapısı oluşturur.
• pd.read_csv() CSV dosyasından veri okur ve DataFrame'e dönüştürür.
• pd.read_excel() Excel dosyasından veri okur.
• pd.read_sql() veritabanından veri okur.
• Pandas Kütüphanesini kullanmak için import pandas as pd kodu dizine eklenir.
• Series oluşturma örneği: s = pd.Series([10, 20, 30, 40, 50]).
• DataFrame oluşturma örneği: data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 22]}; df = pd.DataFrame(data).
• CSV dosyasından veri okuma örneği: csv_data = pd.read_csv('data.csv').
• Excel dosyasından veri okuma örneği: excel_data = pd.read_excel('data.xlsx').

Seriler

• Herhangi bir tipteki veriyi saklayabilen, sakladığı verilere etiket verilebilen tek boyutlu dizilere benzer nesnelerdir.
• Her eleman indis değeri alır ve ilk elemanın indisi sıfırdır.
• Örnek: seri1 = pd.Series([2018, 'Makine Öğrenmesi', -5.23]) üç elemanlı bir seri oluşturur.
• print(seri1[0]) sadece 0. elemanı yazdırır.
• Seriler oluşturulurken özel bir indis belirlenebilir.
• Bir elemana erişmek için ilgili indis değeri kullanılır.
• NumPy kütüphanesindeki listelerin dilimlenmesi işlemleri seriler için de geçerlidir.
• Python'daki Dictionary veri türü, seri nesnesine dönüştürülebilir.
• Bir seride bir elemanın olup olmadığı, True veya False döndüren bir kodla belirlenebilir.
• Seriler üzerinde matematiksel işlemler yapılabilir ve fonksiyonlara parametre olarak verilebilir.
• Seri içinde filtreleme yapılabilir.
• Bir seride en az bir kez geçen veriler unique() fonksiyonu ile bulunur.
• Her verinin seride kaç kez geçtiği value_counts() fonksiyonu ile belirlenebilir.

DataFrame Yapıları

• Satır indis etiketleri, sütun adları ve hücre değerlerini içeren elektronik tablo yapısıdır. Excel sayfalarına benzer.
• Sütunlar seriler ile oluşturulmuş bir sözlük nesnesi ile oluşturulabilir.
• Pandas'ta bir DataFrame oluşturmak için genellikle bir sözlük (dictionary) kullanılır.
• Her sözlük anahtarı (key) bir sütun adı olur ve değerleri (values) bir liste ya da Series olarak saklanır.

Veri Gözlemleme Fonksiyonları

• head() ve tail() DataFrame'in ilk veya son birkaç satırını gösterir.
• info() DataFrame hakkında bilgi, sütun türleri ve eksik değer sayıları gibi detayları görüntüler.
• describe() sayısal sütunlar için temel istatistiksel bilgileri gösterir.
• DataFrame'de belirli koşulları sağlayan öğrencileri yazdırma örneği: print(tablo[tablo["ortalama"] < 93]) ortalaması 93'ten küçük olan öğrencileri ekrana yazdırır.
• DataFrame oluşturma, filtreleme ve yazdırma işlemleri örneklerle açıklanmıştır.

Makine Öğrenmesi Uygulamaları için DataFrame

• Onlarca sütun ve binlerce satırdan oluşan veri setleri ile çalışmak gerekebilir.
• Veriler; veritabanı, Excel veya metin dosyalarından alınabilir.
• DataFrame, Pandas kütüphanesinde çok boyutlu veri depolamak için kullanılır.
• Dictionary veya Pandas Series nesneleri ile oluşturulabildiği, her sütunun farklı veri türleri içerebildiği ve Excel, SQL, CSV gibi kaynaklarla uyumlu olduğu belirtilmiştir.
• Pandas kütüphanesinde okunabilecek veri formatları:
  • CSV için read_csv()
  • JSON için read_json()
  • HTML için read_html()
  • MS Excel için read_excel()

Excel Verilerinin Okunması

• Pandas kütüphanesi aracılığı ile Excel dosyalarındaki veri setleri okunabilir.
• Titanic veri setindeki yolcuların bilgilerini ve hayatta kalma durumlarını hesaplamada kullanılan bazı öznitelikler şunlardır:
  • PassengerId: Yolcunun benzersiz kimlik numarası.
  • Survived: Hayatta kalma durumu (0 = Hayır, 1 = Evet).
  • Pclass: Yolcu sınıfı (1 = Birinci sınıf, 2 = İkinci sınıf, 3 = Üçüncü sınıf).
  • Name: Yolcunun adı.
  • Sex: Cinsiyet (male = erkek, female = kadın).
  • Age: Yolcunun yaşı.
  • SibSp: Gemideki kardeş ve eş sayısı.
  • Parch: Gemideki ebeveyn ve çocuk sayısı.
  • Ticket: Bilet numarası.
  • Fare: Ödenen bilet ücreti.
  • Cabin: Kabin numarası (bazı değerler eksik).
  • Embarked: Yolcunun bindiği liman (C = Cherbourg, Q = Queenstown, S = Southampton).

Nitelik (Öznitelik) Arasındaki Korelasyon

• Korelasyon, bir veri setindeki nitelikler arasındaki ilişkinin olup olmadığını ve varsa nasıl olduğunu belirten istatistiksel bir ölçümdür.
• Korelasyon katsayısı -1 ile +1 arasında değişir.
  • Pozitif korelasyon: Bir değişken artarken diğeri de artıyorsa.
  • Negatif korelasyon: Bir değişken artarken diğeri azalıyorsa.
  • Sıfıra yakın korelasyon: İki değişken arasında anlamlı bir ilişki olmadığını gösterir.
• Korelasyon matrisinde, aynı niteliklerin kesişim değeri her zaman 1'dir.
• Korelasyon matrisinin görselleştirilmesi için Seaborn kütüphanesi kullanılabilir ve df.corr() fonksiyonu ile oluşturulur.
• Yüksek korelasyona (0.9 ve üzeri) sahip nitelikler, modelleme sürecinde dikkatle ele alınmalıdır.
• Kategorik verilerin sayısal hale getirilmesi için map() fonksiyonu ve One-Hot Encoding kullanılabilir.
• One-Hot Encoding, kategorik değişkenleri sayısal hale getirme yöntemidir; her kategori ayrı bir sütuna dönüştürülür ve 0 veya 1 ile kodlanır.

Bölüm Özeti

• Makine öğrenmesi uygulamalarında kullanılan veri setleri, farklı formatlardaki dosyalardan elde edilebilir ve Pandas kütüphanesi ile DataFrame'e dönüştürülebilir.
• Veri setindeki öznitelikler arasındaki ilişkinin olup olmadığını istatistiksel olarak belirlemek için korelasyon analizi yapılır.
• Korelasyon matrisini görselleştirmek için Seaborn kütüphanesi kullanılır ve heatmap() fonksiyonu ile korelasyon matrisleri grafiksel olarak sunulabilir.

Uygulama Yapılacak!!!

• imdb.csv dosyasını Pandas ile okuyunuz.
• Dosya hakkında genel bilgileri görüntüleyiniz. (.info() ve .describe() fonksiyonları)
• İlk 5 kaydı görüntüleyiniz.
• İlk 10 kaydı görüntüleyiniz.
• Son 5 kaydı görüntüleyiniz.
• Son 10 kaydı görüntüleyiniz.
• Sadece Movie_Title kolonunu seçerek listeleyiniz.
• Sadece Movie_Title kolonunu içeren ilk 5 kaydı listeleyiniz.
• Movie_Title ve Rating kolonlarını seçerek, son 7 kaydı listeleyiniz.
• Movie_Title ve Rating kolonlarını içeren ve IMDb puanı 8.0 ve üzerinde olan ilk 50 kaydı listeleyiniz.
• Yayın tarihi 2014 ile 2015 arasında olan filmlerin isimlerini listeleyiniz.
• Num_Review değeri 100.000’den büyük olan veya IMDb puanı 8 ile 9 arasında olan filmleri listeleyiniz.