ANN - Day #3 - Activation Function

Activation Function (AF) akan menentukan output dari setiap neuron. Ada tiga tipe dasar AF, yaitu :

1. Treshold Function (TF), biasa juga disebut Heaviside function. Keluaran TF akan bernilai 1 bila v >= 0 dan bernilai 0 bila v < 0. v adalah induced local field atau activation potential (istilah gampangnya : keluaran dari adder sebelum masuk ke AF). Kalo diliat lagi, TF ini mirip gerbang logika ya ?
2. Piecewise-Linear Function (PLF). Kalo TF punya dua kemungkinan keluaran, maka PLF punya tiga. Keluaran PLF akan bernilai 1 bila v >= +1/2, bernilai v bila +1/2 > v > -1/2, dan bernilai 0 bila v <= -1/2.
3. Sigmoid Function (SF), merupakan AF yang paling umum digunakan untuk mendesain ANN. Kalo aku ngeliat grafiknya seperti PLF yang diperhalus. Nilai keluarannya berada dalam interval, tidak seperti TF yang cuma punya dua kemungkinan, 0 atau 1. SF juga bisa diturunkan (differentiable), sedangkan TF tidak --> sifat differentiable salah satu fitur penting dalan teori jaringan syaraf.

Nilai AF dari ketiga fungsi di atas didefinisikan dalam interval 0 sampai +1. Terkadang, intervalnya bisa dibuat menjadi antara -1 sampai +1, yaitu pada kasus di mana AF mengasumsikan suatu bentuk asimetrik yang sesuai dengan masukannya --> fungsi ganjil (?).

Hmm .. sebagian pertanyaanku terjawab, walaupun nggak sepenuhnya ngerti. Misal, kenapa justru AF yang keluarannya banyak lebih bagus dibandingkan yang cuma punya dua keluaran ? Apakah karena probabilitas outputnya yang bertambah ? Terus kenapa katanya AF yang bisa menghasilkan keluaran negatif memiliki keuntungan dalam hal analisis ??

Question ... question ... question ....