Sejarah dari Development of Neural Networks

Deep Learning telah digunakan dalam berbagai bidang, seperti periklanan, pembelajaran mesin, visi komputer, pemrosesan bahasa alami, sistem rekomendasi, dan banyak lagi. Pada tahun 2017, Deep Learning telah menjadi alat yang sangat berharga dalam pembuatan keputusan dan menjadi salah satu teknologi paling kuat di dunia.

Sejarah jaringan saraf tiruan cukup panjang, dan banyak orang telah berkontribusi terhadap perkembangannya selama beberapa dekade. Mengingat ledakan minat dalam pembelajaran mendalam baru-baru ini, tidak mengherankan bahwa penugasan kredit untuk perkembangan utama bukanlah hal yang tidak kontroversial. Berikut ini, kami bertujuan pada presentasi yang tidak memihak yang hanya menyoroti kontribusi yang paling terkenal.

Pada tahun 1943, model matematika pertama dari sebuah neuron diciptakan oleh McCulloch dan Pitts (1943). Model ini bertujuan untuk memberikan formulasi abstrak untuk fungsi neuron tanpa meniru mekanisme biofisik dari neuron biologis yang sebenarnya. Menarik untuk dicatat bahwa model ini tidak mempertimbangkan pembelajaran.

Pada tahun 1949, gagasan pertama tentang pembelajaran bermotivasi biologis dalam jaringan saraf diperkenalkan oleh Hebb (1949). Pembelajaran Hebbian adalah bentuk pembelajaran jaringan saraf tanpa pengawasan.

Pada tahun 1957, Perceptron diperkenalkan oleh Rosenblatt (1957). Perceptron adalah jaringan saraf lapisan tunggal yang berfungsi sebagai pengklasifikasi biner linier. Dalam bahasa modern JST, Perceptron menggunakan fungsi Heaviside sebagai fungsi aktivasi.