Machine Learning

Pengenalan Deep Learning

• Kelas ini akan membahas konsep-konsep penting dalam deep learning, termasuk jaringan saraf dan contoh algoritma.

• Modul ini akan mengajarkan cara komputer belajar dari data dan algoritma dalam pengenalan gambar dan pemrosesan bahasa.

Dasar-Dasar Neural Network

• Neural network terinspirasi dari jaringan saraf biologis manusia.
• Neural network mampu mengenali pola, membuat prediksi, dan belajar dari pengalaman.
• Neural network membuka kemajuan besar dalam pengenalan gambar, pengolahan bahasa alami, dan robotika.
• Contoh penggunaan neural network meliputi sistem rekomendasi dan kendaraan otonom.

Taksonomi AI

• Taksonomi AI menggambarkan evolusi konsep dan teknologi kecerdasan buatan, dari artificial intelligence hingga deep learning (DL).
• Artificial Intelligence (AI) mencakup penggunaan komputer untuk tugas yang membutuhkan kecerdasan manusia, seperti pengambilan keputusan.
• Machine Learning (ML) adalah cabang AI di mana komputer belajar dari data tanpa diprogram secara eksplisit.
• Neural Network (NN) adalah model matematis yang terinspirasi dari jaringan saraf manusia yang digunakan untuk memproses informasi.
• Deep Learning (DL) adalah sub-bidang ML yang menggunakan NN dengan banyak lapisan, yang menghasilkan kemajuan besar dalam berbagai aplikasi AI.
• Generative AI berfokus pada penciptaan konten baru dan original, seperti teks dan gambar.

Konsep Dasar Neural Network

• Jaringan saraf tiruan adalah model matematis yang terinspirasi dari struktur jaringan saraf manusia.
• Jaringan saraf tiruan meniru cara kerja otak manusia menggunakan unit-unit pemrosesan sederhana (neuron).
• Neuron biologis adalah pembawa pesan/informasi menggunakan impuls listrik dan sinyal kimiawi antara area otak dan sistem saraf.
  • Saraf terdiri dari akson (mengirim pesan), dendrit (menerima pesan), dan badan sel dengan nukleus (mengontrol aktivitas sel).
  • Neuron berkomunikasi dengan neurotransmitter melintasi sinapsis.
  • Neuron mengirim sinyal sebagai respons cepat.
• Neuron buatan (NN) terinspirasi dari saraf biologis, saling terhubung dalam struktur mirip jaringan saraf biologis.
  • Setiap neuron buatan menerima input, menghitung hasil berdasarkan bobot, dan mengirimkan output ke neuron lain.

Struktur dan Cara Kerja Artificial Neural Network

• Perceptron adalah neural network paling sederhana yang terdiri dari satu unit.
• Perceptron memproses input dengan mengalikannya dengan bobot (w), menjumlahkannya dengan bias (b), dan menerapkan fungsi aktivasi (f) untuk menghasilkan output (y).
• Secara matematis, output perceptron dihitung dengan rumus: y = f(z), di mana z = Σ(wixi) + b.

Komponen Single Perceptron

• x: Nilai input.
• w: Bobot terkait dengan input.
• b: Nilai bias (konstanta tambahan).
• z: Fungsi linear.
• f: Fungsi aktivasi.
• y: Output.
• ANN bekerja dengan neuron yang terorganisir dalam lapisan-lapisan.
• Setiap koneksi antar neuron memiliki bobot yang memengaruhi pentingnya informasi.
• Selama pembelajaran, bobot diatur ulang agar ANN memahami pola dalam data.
• ANN memproses masukan, mengolahnya melalui jaringan neuron, dan menghasilkan keluaran.
• Konsep ANN diibaratkan sebagai "sarang semut" dengan komputasi luar biasa untuk memecahkan masalah.
• Perceptron adalah komponen dasar jaringan saraf tiruan, ditemukan oleh Frank Rosenblatt pada tahun 1957, terinspirasi dari neuron otak manusia.

Cara Kerja Perceptron dan Jaringan Neural

• Perceptron menerima masukan bilangan numerik dan memprosesnya untuk menghasilkan keluaran.

• Sebuah perceptron terdiri dari input (xi), bobot dan bias (wi, w0), penjumlahan (Σ), fungsi aktivasi (⎰), dan output (y).

• Perceptron tunggal tidak signifikan untuk pemrosesan kompleks.

• Ketika banyak perceptron terhubung dalam jaringan yang lebih besar, kemampuannya meningkat.

• Selama proses pelatihan, neural network dapat menyesuaikan bobot dan bias.

• Neural network dapat mengungguli metode machine learning lainnya dalam hal keakuratan dan adaptasi.

• Peningkatan ukuran dan kompleksitas jaringan meningkatkan performa dan efektivitasnya.

Tahapan Proses Perceptron

• Input menerima masukan berupa angka, setiap input memiliki bobot masing-masing.
• Penjumlahan input: setiap input dikalikan dengan bobotnya, lalu ditambahkan dengan bias.
• Memproses weighted sum dengan fungsi aktivasi (non-linearity function), seperti antara (0,1) atau (-1,1).
• Output: hasil perhitungan perceptron berupa bilangan numerik.
• Keluaran dari perceptron adalah bias (w0) ditambah dengan jumlah setiap input (xi) yang dikali dengan bobot masing-masing (wi).

Multilayer Perceptron (MLP)

• MLP atau feedforward neural network adalah jaringan yang terdiri dari banyak perceptron yang saling terhubung dalam beberapa lapisan.
• Layer pada MLP:
  • Input layer: menerima data dari luar.
  • Hidden layer: memproses input dengan bobot dan fungsi aktivasi, membantu jaringan mempelajari pola kompleks.
  • Output layer: menghasilkan output berdasarkan hidden layer, mewakili probabilitas kelas tertentu.

Istilah Penting pada Neural Network

• Beberapa istilah umum yang penting dalam pengembangan kecerdasan buatan menggunakan neural network:
• Activation Function, Loss Function, dan Optimizer.

Activation Function (Fungsi Aktivasi)

• Fungsi aktivasi adalah fungsi matematika yang menentukan apakah neuron aktif atau tidak berdasarkan input.
• Fungsi aktivasi membuat jaringan saraf mampu menyesuaikan pola dengan data non-linier.
• Secara umum, ada dua jenis activation function, linear dan non-linear activation function.
  • Linear activation function adalah fungsi dengan keluaran yang proporsional secara linear terhadap input.
    • Jarang digunakan pada lapisan tersembunyi (hidden layers) karena tidak mampu memodelkan hubungan yang kompleks antara variabel input dan output.

Non-Linear Activation Functions

• ReLU (Rectified Linear Activation)
  • Output dari ReLU adalah nilai inputnya jika nilai input tersebut lebih besar dari atau sama dengan nol, dan outputnya adalah nol jika nilai inputnya kurang dari nol.
  • Sederhana pada komputasi dan memperkenalkan non-linearitas ke dalam jaringan.
  • Mampu mempercepat konvergensi pembelajaran dan mengurangi risiko overfitting.
• Leaky ReLU
  • Memperkenalkan kemiringan kecil (biasanya nilai tetap yang sangat kecil, seperti 0.01) pada bagian negatif dari fungsi ReLU.
  • Membantu menjaga agar neuron tetap aktif selama pelatihan, bahkan jika gradien pada bagian negatifnya mendekati nol.
  • Mencegah "kematian" neuron dan membantu meningkatkan stabilitas serta kecepatan konvergensi dalam pelatihan jaringan saraf.
• Sigmoid
  • Akan menerima angka tunggal dan mengubah x menjadi sebuah nilai yang memiliki rentang mulai dari 0 sampai 1.
  • Kemampuannya dalam menghasilkan keluaran dengan batas antara 0 dan 1, yang berguna untuk tugas klasifikasi ketika kita ingin memprediksi probabilitas keanggotaan pada kelas tertentu.
  • Ketika nilai input sangat besar (positif atau negatif), gradien sigmoid cenderung mendekati nol, yang dapat menyebabkan masalah lambatnya konvergensi selama pelatihan jaringan.
  • Memiliki kecenderungan untuk menghasilkan output yang condong ke nilai 0 atau 1 dengan cepat; ini dapat menghambat pembelajaran dalam beberapa kasus.
• Tanh
  • Akan mengubah nilai input x-nya menjadi sebuah nilai yang memiliki rentang mulai dari -1 hingga 1.
  • Rentang output yang terbatas (-1 sampai 1). Ini juga bisa menyebabkan gradien menghilang pada jaringan.
  • Masih menjadi pilihan populer untuk fungsi aktivasi dalam beberapa kasus, terutama ketika rentang output yang simetris di sekitar nol diinginkan atau saat sigmoid tidak memberikan hasil yang memuaskan.
  • Menghasilkan output antara -1 dan 1.
• Softmax
  • Adalah jenis fungsi aktivasi yang umum digunakan pada lapisan output dari jaringan saraf, terutama untuk tugas klasifikasi multiclass (output pada rentang (0, 1) sehingga total probabilitas output menjadi 1).
  • Output dari softmax dapat diinterpretasikan sebagai probabilitas bahwa input termasuk dalam setiap kelas yang mungkin karena nilai-nilainya berada pada rentang (0, 1) dan total probabilitasnya adalah 1.

Loss Function dan Optimizer

• Loss Function digunakan untuk mengukur seberapa baik atau buruk kinerja model pada data pelatihan.
• Optimizer bertanggung jawab untuk mengoptimalkan bobot dan bias pada jaringan agar dapat mengurangi kesalahan prediksi
• Fungsi utama dari optimizer dalam konteks jaringan saraf:
  • Menghitung gradien dari loss function terhadap parameter (weights dan biases) dalam jaringan.
  • Memperbarui nilai parameter berdasarkan gradien yang dihitung (gradient descent atau varian-varian lainnya) -Optimizer berusaha menangani masalah, seperti lambatnya konvergensi, kemungkinan terjebak dalam optimum lokal, ataupun masalah gradien yang meledak atau menghilang
• Contoh optimizer yang umum digunakan:
  • Stochastic Gradient Descent (SGD), RMSprop, ADAM.

Forward Propagation dan Backpropagation

• Digunakan untuk menghasilkan prediksi yang akurat dan mengoptimalkan parameter (bobot) jaringan. Dengan menggunakan forward propagation: Data dimasukkan ke setiap neuron jaringan Lalu dengan backpropagation: Output prediksi dibandingkan dengan nilai target menggunakan loss function. Gradien dihitung dan bobot diubah Langkah diulang Pada intinya, neuron, jaringan dan data beriterasi.

Definisi Deep Learning

• Deep learning adalah cabang dai kecerdasan buatan yang menggunkan ANN, model matematis yang terdiri dari tiga atau lebih lapisan neuron yang saling terhubung yang memiliki fungsi khusus serta bertanggung jawab untuk mengekstrak fitur-fitur.
• Perangkat lunak memproses dan memproses data hingga menjadi output yang diinginkan.

Pengantar Convolutional Neural Network (CNN)

• Deep learning telah membuka banyak kemungkinan.
• CNN sering juga digunakan untuk memproses gambar.
• Langkah-langkah convolution neural network (CNN):

1. Memecah gambar menjadi bagian-bagian lebih kecil(patches)
2. Masukkan setiap gambar lebih kecil pada jaringan saraf
3. Menyimpan hasil dari setiap gambar.
4. Pengurangan dimensi, representasi data spasial
5. Membuat sebuah prediksi

Pengantar Recurrent Neural Network (RNN)

• Tujuan utama RNN adalah memahami dan memproses data yang memiliki struktur urutan atau jangka waktu.
• Jenis- jenis RNN:

1. Vanilla RNN
2. LSTM
3. GRU

• Langkah-langkah RNN:

1. Diproosesnya masukan( teks, audio, kata)
2. Perhitungan aktivasi
3. Pembaharuhan status internal
4. Output