Öğrenme işleminin hızını ve verimliliği birkaç değişkenin değerine bağlıdır bunlar: öğrenme oranı, momentum terimi, gizli katman sinir sayısı ve hata fark değişkenleridir.
· Öğrenme oranının ağ üzerideki etkisi
Öğrenme oranının değeri öğrenme işleminin süresini belirlemede önemlidir. Öğrenme işlemindeki adım sayısı öğrenme oranının arttırılmasıyla azaltılmaktadır.
· Momentum teriminin ağ üzerindeki etkisi
Momentum teriminin katılması adım sayısında azalmaya ve öğrenme işleminin kısalmasına sebep olmaktadır. Momentum değer, yüksek alındığında ağdaki toplam hatanın sıfıra daha hızlı bir eğimle yaklaştığı gözlenmiştir.
· Gizli katman sinir sayısının ağ üzerinde etkisi
Ara katman sinir sayısı öğrenme sırasında belleğe yük bindirmek ve işlemciyi yormak haricinde öğrenme işleminin dahi iyi yapılmasını sağlamaktadır. Bu nedenle ara katman sinir sayısı belirlenirken deneme yanılma yapılmaktadır.
· Hata farkı değişkeninin ağ üzerindeki etkisi
Bunu tolerans olarak ta adlandırabiliriz. Tolerans arttıkça yapılan hatalar artmakta ağırlıkların hassasiyeti azalmaktadır. Fakat eğitimin süresini ve adım sayısını arttırmaktadır.
Backpropagation algoritması N parametre için N+1 boyutlu bir uzaydaki N değişkenli bir yüzey üzerinde gezinmekte ve hatanın minimum olduğu noktayı aramaktadır. Burada bulunulan noktanın her bir parametreye göre türevi tüm uzayda alınmaktadır. Daha sonra ağırlıklar güncellenmekte ve nokta eski noktaya yakın bir noktadan devam etmektedir. Fakat bu işlem çok uzun sürmektedir ve yüzey üzerinde daha hızlı gezebilmek için momentum katsayısı denilen kavramlar kullanılmaya başlanmıştır. Fakat bu da bellek ihtiyacı doğurmaktadır.
RPROP ALGORİTMASI
RPROP algoritması da backpropation mantığıyla hareket eden bir algoritmadır. Farkı diğer algoritmada olduğu gibi optimal değere ulaşmaya çalışırken optimum noktanın etrafındaki işaret değişikliklerini takip etmekte ve buna göre nokta etrafında osilasyona girmeyi önleyecek şekilde adımları güncellemektedir.
Bu yöntem 3 önemli optimizasyon algoritmasının en avantajlı yönlerinin birleştirilmeye çalışılmasından doğmuştur. Bunlar gradyent düşüm modeli, backpropagation ve Levenberg-Marquardt optimizasyon kurallarıdır.
Böylece YSA serisinde yazdıklarımın sonuna gelmiş oldum. Yazın Nescafeye abanarak okudugum dokumanlardan sonra aldıgım notlardan oluşan bu dokumanlar sanırım giriş aşamasındaki insanlar için belli bir alt yapı oluşturmustur. Bundan sonra bende Yapay Zeka seruvenime PROLOG bakarak devam edeceğim. Öncesinde Yazdıgım Karar Ağaçları ve Expert System notlarınıda burada paylaşmayı planlamaktayım. Bu dokumanların oluşumunda okuduğum ve tavsiye edeceğim kaynaklarıda vermekte fayda görüyorum.
KAYNAKLAR · http://en.wikipedia.org/wiki/Adaptive_system · http://en.wikipedia.org/wiki/Backpropagation · http://ieee.uow.edu.au/~daniel/software/libneural/BPN_tutorial/BPN_English/BPN_English/ · http://www.eee.metu.edu.tr/~alatan/Courses/Demo/BackPropagation.htm · http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html · http://www.learnartificialneuralnetworks.com/backpropagation.html · http://www.seattlerobotics.org/encoder/nov98/neural.html · http://www.neuromod.org/courses/connectionism1999/backpropagation/ · http://gpdev.net/ · “RPROP using natural gradient”, Christian Igel · Optimization of the Backpropagation Algorithm for Training Multilayer Perceptrons W. Schiffmann, M. Joost, R. Werner · http://europa.eu.int/en/comm/eurostat/research/supcom.95/16/result/node23.html · Average monthly liquid flow forecasting using neural networksC. Barbălată* and L. Leuştean** · http://en.wikipedia.org/wiki/Reinforcement_learning · http://www.yapay-zeka.org/modules/wiwimod/index.php?page=ANN&back=WiwiHome http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html