ANN - Day #4 - Stochastic Model and Directed Graphs of Neural Networks

Model Stokastik dari Suatu Neuron

Dari bahasan-bahasan tentang model neuron sebelumnya, hubungan masukan-keluaran selalu pasti. Pada beberapa aplikasi neural network, terkadang diperlukan suatu analisis yang didasari oleh model stokastik. Dalam hal ini, fungsi aktivasi (McCulloch-Pitts) diinterpretasikan dalam bentuk peluang (probabilistik). Misalnya, katakanlah suatu neuron hanya boleh memiliki dua keadaan (x), misal 1 atau 0. Maka peluang x = 1 adalah P(v), dan berarti peluang x = 0 adalah 1- P(v). Biasanya P(v) merupakan fungsi sigmoid.

Catatan : Prinsipnya aku ngerti. Yang nggak kupahami di sini adalah pernyataan "if x denote the state of the neuron". Apakah itu maksudnya x itu keluaran atau masukan atau keadaan yg bagaimana ? Yang jelas, P(v) di sini berperan sebagai probabilitas dari x.

Jaringan syaraf dipandang sebagai Grafik Terarah

Umumnya neuron digambarkan dalam bentuk blok diagram untuk memperlihatkan komponen-komponen yang membentuknya serta fungsinya masing-masing (masukan, synapse, summing juction, bias, fungsi aktivasi, keluaran). Misalnya blok diagram untuk model neuron non linear berikut :

Blok diagram di atas dapat disederhanakan dengan menggunakan grafik aliran-sinyal (signal-flow graphs) tanpa harus mengorbankan detail dari fungsi tiap komponennya. Pada dasarnya grafik ini akan memberikan gambaran yang lebih jelas tentang aliran sinyal dari suatu atau sekelompok neuron dalam suatu jaringan syaraf.

Grafik aliran sinyal terdiri dari hubungan atau link (cabang) yang terinterkoneksi pada titik-titik tertentu yang disebut node. Misalnya, node j dengan sinyal node xj. Hubungan langsung berawal dari node j dan berakhir di node k. Hubungan ini memiliki fungsi transfer di mana keluaran yk pada node k akan bergantung pada sinyal xj (dari node j). Aliran sinyal ini mengikuti tiga aturan dasar, yaitu :

1. Suatu sinyal yang mengalir pada link hanya akan mengarah sesuai dengan arah panah yang ditunjukkan pada link tersebut. Link sendiri ada dua macam, yaitu : Link Synaptic, yang perilakunya didasari oleh relasi masukan-keluaran linear (perkalian antara sinyal dan berat synapse). Yang kedua adalah Link Aktivasi, yang perilakunya didasari oleh relasi masukan-keluaran non linear (fungsi aktivasi).
2. Suatu node sinyal akan sama dengan penjumlahan seluruh sinyal yang terhubung dan memasuki node tersebut.
3. Sinyal pada suatu node ditransmisikan ke setiap link keluaran dan akan bersifat mandiri terhadap fungsi aktivasi dari link keluaran tersebut. Sifat ini disebut juga divergensi synaptic atau fan-out.

Dengan menggunakan aturan di atas, maka blok diagram neuron non linear di atas dapat digambarkan dalam bentuk grafik aliran sinyal seperti pada gambar di bawah :

Jauh lebih simpel khan ? 

Yang perlu diperhatikan di sini adalah nilai bias --> x0 = +1, dan berat synaptiknya adalah Wk0 = bk (selalu gitu).

Dari gambaran di atas, maka kita dapat memperoleh definisi matematis dari suatu jaringan syaraf, yaitu :

Jaringan syaraf merupakan suatu grafik terarah yang mengandung node-node, link-link yang terinterkoneksi, baik link sinaptik ataupun aktivasi, serta dicirikan oleh empat sifat, yaitu :

1. Setiap neuron direpresentasikan oleh sekelompok link sinaptik linear, sebuah bias eksternal dan suatu link aktivasi yang mungkin bersifat non linear. Bias direpresentasikan sebagai sebuah link sinaptik dengan masukan tetap +1.
2. Link-link sinaptik dari suatu neuron akan memberikan berat/bobot pada sinyal inputnya masing-masing.
3. Jumlah bobot dari sinyal masukan mendefinisikan induced local field dari neuron (alias masukan fungsi aktifasi).
4. Fungsi aktivasi akan 'melumat' induced local field untuk menghasilkan keluaran (aku lebih suka pake istilah 'mengolah' daripada 'melumat', karena lebih gampang dimengerti. aslinya sih 'squash').

Grafik aliran sinyal di atas dikatakan 'lengkap' dalam artian bahwa grafik tadi tidak hanya menggambarkan aliran sinyal dalam suatu neuron, tetapi juga antar neuron. Bila kita hanya ingin menggambarkan aliran sinyal dari neuron ke neuron, kita dapat mengabaikan detail internal dari tiap neuron, dan grafik tadi 'dimodifikasi' menjadi 'setengah lengkap' (karena hanya menggambarkan hubungan antar neuron). Sifat grafik 'setengah lengkap'  ini antara lain :

1. Node-node sumber akan menyuplai sinyal masukan pada grafik
2. Setiap neuron digambarkan sebagai node tunggal yang disebut node komputasi.
3. Link komunikasi yang menghubungkan node sumber dan komputasi dari grafik tidak berbobot dan hanya memberikan arah aliran sinyal pada grafik. 

Grafik setengah lengkap yang didefinisikan dengan sifat-sifat di atas disebut juga sebagai grafik arsitektural, yang menggambarkan susunan dari jaringan syaraf. Contohnya ada pada gambar di bawah :

Sekali lagi, bias selalu nongol sebagai node tunggal dengan nilai tetap +1. Perhatikan bahwa node komputasi yang merepresentasikan neuron ditampilkan sebagai lingkaran hitam, sedangkan node-node sumber digambarkan sebagai bujur-bujur sangkar kecil.

Kesimpulannya, sampai sejauh ini sudah ada tiga representasi grafis dari suatu jaringan syaraf, yaitu :

• Blok diagram (gambar pertama), yang memberikan gambaran fungsional dari suatu jaringan syaraf/neuron.
• Grafik aliran sinyal (gambar kedua), yang memberikan gambaran lengkap dari aliran sinyal dalam suatu jaringan syaraf/neuron.
• Grafik arsitektural (gambar ketiga), yang menggambarkan susunan (layout) dari suatu jaringan syaraf.

Okay ... enough for today