Arsitektuk Teknologi Perkembangan Ilmu Komputer Recurrent Neural Network dan Contoh Implementasinya

    Arsitektur komputer adalah atribut-atribut pada komputer yang terkait dengan seorang programer dan mempengaruhi eksekusi logika programnya. Contohnya yaitu set intruksi , Mekanisme I/O (Input Output) , Aritmatika yang digunakan , dan teknik pengalamatannya. Pada kali ini saya akan membahas mengenai Arsitektur Teknologi Perkembangan Ilmu Komputer Recurrent Neural Network dan Implementasinya. 

Pengertian Recurrent Neural Network 

    Recurrent Neural Network merupakan salah satu metode deep learning yang digunakan untuk memproses data yang bersambung (sequential data). Recurrent Neutral Network mampu menyimpan memori dan feedback loop yang dapat mengenali informasi dari masa lalu dalam proses pemodelannya dengan baik dan akurat. 

    Contoh penerapan dari RNN yaitu mesin penerjemah (google translate) ; image captioning yaitu dengan menghasilkan deskripsi untuk gambar yang tidak berlabel ; pengenalan suara (voice search) dengan mengenali suara dan mengubahnya menjadi text, Inputan yaitu urutan sinyal akustik dari gelombang suara kemudian memprediksi urutan segmen fonem secara bersamaan dengan probabilitasnya.

Arsitektur dan Cara kerja Recurrent Neural Network

        Ada beberapa varian arsitektur Recurrent Neural Network yang sudah dikembangkan dari tahun ke tahun untuk mengatasi keterbatasan arsitektur RNN standar. Beberapa contoh dari RNN yaitu : 

1. Long Short-Term Memory (LSTM)

        LSTM merupakan pengembangan dari RNN yang dirancang untuk menangani masalah vanishing gradient ( gradien hilang) yang bisa saja terjadi pada RNN standar. LSTM ini mempunyai 3 gate utama yaitu input gate, forget gate, dan output gate, yang memungkian jaringan LSTM mengatur aliran informasi dalam dan keluar sel memori.

       2. Gated Recurrent Unit (GRU)

       GRU merupakan varian arsitektur yang sama seperti LSTM yaitu untuk menangani masalah vanishing gradient tetapi lebih sederhana. Memiliki 2 gate yaitu reset gate dan update gate. Reset gate untuk menentukan seberapa banyak keadaan sebelumnya yang harus dilupakan , sedangkan update gate untuk menentukan seberapa banyak keadaan baru yang harus diingat.

       3. RNN dua arah (Bidirectional RNN)

          Jaringan ini terdiri dari dua lapisan berulang yang terpisah, satu memproses urutan input maju dan yang lainnya mundur. Hal ini memungkinkan jaringan untuk menangkap konteks masa lalu dan masa depan, yang dapat berguna untuk pengenalan ucapan dan tugas pemrosesan bahasa alami.

       4. RNN Encoder-Decoder 

          Arsitektur ini memiliki 2 komponen utama yaitu encoder dan decorder. Encoder menerima urutan input dan mengonversinya menjadi representasi vektor yang mengkodekan informasi penting dari urutan tersebut, sedangkan Decoder itu yang menerima representasi vektor dari encoder dan menggunakannya untuk menghasilkan urutan keluaran yang diinginkan.Arsitektur ini biasanya digunakan untuk tugas-tugas berurutan seperti terjemahan mesin.

        Ini hanyalah beberapa contoh dari banyaknya varian arsitektur RNN yang telah dikembangkan selama bertahun-tahun.

   Arsitektur metode Recurrent Neural Networks (RNN) merupakan bentuk arsitektur yang dapat memproses sequential data. RNN di desain untuk mengenali pola dalam urutan data, seperti teks, tulisan tangan, ucapan kata, dan data numerik berbentuk time series. 

Dari gambar tersebut terdapat 3 lapisan dalam arsitekturnya yaitu :

1. Input Layer : Lapisan yang menerima inputan lalu memasukannya ke neuron lainnya dalam jaringan.
2. Hidden Layer : Lapisan yang berfungsi meningkatkan kemampuan jaringan dalam memecahkan masalah.
3. Output Layer : Lapisan yang mengasilkan sebuah output dari hasil prosesnya.

            Dapat kita simpulkan dari gambar diatas, inilah sebabnya arsitektur ini dikatakan RNN, karena Recurrent (berulang) yang artinya RNN melakukan perhitungan yang sama secara berulang atas input yang kita berikan dan otomatis membuat informasi dari masa lalu tetap tersimpan.