LinkedIn FriendFeed Twitter

YSA - 5

by Ordinaryus 10. February 2009 00:30

 

Öğrenme işleminin hızını ve verimliliği birkaç değişkenin değerine bağlıdır bunlar: öğrenme oranı, momentum terimi, gizli katman sinir sayısı ve hata fark değişkenleridir.

·         Öğrenme oranının ağ üzerideki etkisi

Öğrenme oranının değeri öğrenme işleminin süresini belirlemede önemlidir.  Öğrenme işlemindeki adım sayısı öğrenme oranının arttırılmasıyla azaltılmaktadır.

 

·         Momentum teriminin ağ üzerindeki etkisi

Momentum teriminin katılması adım sayısında azalmaya ve öğrenme işleminin kısalmasına sebep olmaktadır. Momentum değer, yüksek alındığında ağdaki toplam hatanın sıfıra daha hızlı bir eğimle yaklaştığı gözlenmiştir.

 

·         Gizli katman sinir sayısının ağ üzerinde etkisi

Ara katman sinir sayısı öğrenme sırasında belleğe yük bindirmek ve işlemciyi yormak haricinde öğrenme işleminin dahi iyi yapılmasını sağlamaktadır. Bu nedenle ara katman sinir sayısı belirlenirken deneme yanılma yapılmaktadır.

 

·         Hata farkı değişkeninin ağ üzerindeki etkisi

Bunu tolerans olarak ta adlandırabiliriz. Tolerans arttıkça yapılan hatalar artmakta ağırlıkların hassasiyeti azalmaktadır. Fakat eğitimin süresini ve adım sayısını arttırmaktadır.

 

Backpropagation algoritması N parametre için N+1 boyutlu bir uzaydaki N değişkenli bir yüzey üzerinde gezinmekte ve hatanın minimum olduğu noktayı aramaktadır. Burada bulunulan noktanın her bir parametreye göre türevi tüm uzayda alınmaktadır. Daha sonra ağırlıklar güncellenmekte ve nokta eski noktaya yakın bir noktadan devam etmektedir. Fakat bu işlem çok uzun sürmektedir ve yüzey üzerinde daha hızlı gezebilmek için momentum katsayısı denilen kavramlar kullanılmaya başlanmıştır. Fakat bu da bellek ihtiyacı doğurmaktadır.

 

RPROP ALGORİTMASI    

            RPROP algoritması da backpropation mantığıyla hareket eden bir algoritmadır. Farkı diğer algoritmada olduğu gibi optimal değere ulaşmaya çalışırken optimum noktanın etrafındaki işaret değişikliklerini takip etmekte ve buna göre nokta etrafında osilasyona girmeyi önleyecek şekilde adımları güncellemektedir.

            Bu yöntem 3 önemli optimizasyon algoritmasının en avantajlı yönlerinin birleştirilmeye çalışılmasından doğmuştur. Bunlar gradyent düşüm modeli, backpropagation ve Levenberg-Marquardt optimizasyon kurallarıdır.

 

Böylece YSA serisinde yazdıklarımın sonuna gelmiş oldum. Yazın Nescafeye abanarak okudugum dokumanlardan sonra aldıgım notlardan oluşan bu dokumanlar sanırım giriş aşamasındaki insanlar için belli bir alt yapı oluşturmustur. Bundan sonra bende Yapay Zeka seruvenime PROLOG bakarak devam edeceğim. Öncesinde Yazdıgım Karar Ağaçları ve Expert System notlarınıda burada paylaşmayı planlamaktayım. Bu dokumanların oluşumunda okuduğum ve tavsiye edeceğim kaynaklarıda vermekte fayda görüyorum.

 

KAYNAKLAR
·         http://en.wikipedia.org/wiki/Adaptive_system
·         http://en.wikipedia.org/wiki/Backpropagation
·         http://ieee.uow.edu.au/~daniel/software/libneural/BPN_tutorial/BPN_English/BPN_English/
·         http://www.eee.metu.edu.tr/~alatan/Courses/Demo/BackPropagation.htm
·         http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
·         http://www.learnartificialneuralnetworks.com/backpropagation.html
·         http://www.seattlerobotics.org/encoder/nov98/neural.html
·         http://www.neuromod.org/courses/connectionism1999/backpropagation/
·         http://gpdev.net/
·         “RPROP using natural gradient”, Christian Igel
·         Optimization of the Backpropagation Algorithm for Training Multilayer Perceptrons W. Schiffmann, M. Joost, R. Werner
·         http://europa.eu.int/en/comm/eurostat/research/supcom.95/16/result/node23.html
·         Average monthly liquid flow forecasting using neural networksC. Barbălată* and L. Leuştean**
·         http://en.wikipedia.org/wiki/Reinforcement_learning
·         http://www.yapay-zeka.org/modules/wiwimod/index.php?page=ANN&back=WiwiHome
http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html

 

 

 

 

 

 

Tags: ,

Neural Networks | Yapay Zeka

Comments

11/4/2009 9:14:19 PM #

Interesting information. May I add this blog to my linkexchange directory ?

no teletrack payday loans United States

11/16/2009 2:03:47 AM #

Searching for this for some time now - i guess luck is more advanced than search engines Smile

faxless payday loans United States

Add comment




  Country flag

Click to change captcha
biuquote
  • Comment
  • Preview
Loading



Powered by BlogEngine.NET 1.5.0.7
Theme by Mads Kristensen

Ordinaryus Hakkında

Hayata gözlerini İzmirde açtı. 3 yaşında legolarla oynadı =) Küçük yaşta baskete başladı zaten başka sporlarla arası hiç olmadı. Orta okulda matematikle ilgilendi. Liseyi Karşıyaka Anadolu Lisesinde okudu. 

İTÜ Elektronik Mühendisliğinden 2010 yılında mezun oldu. Fizik bölümünde çift anadala kabul oldu lisans hayatına Fizikten devam etmekte. Koç Üniversitesinde Bilgisayar Mühedisliği Master programına kabul edildi ve akademik hayatının ilk adımlarını sevdiği bir alanda çalışarak atıyor. Fizik ve Bilgisayarın ortak noktalarını gördü ve bunları geliştirmek amacıyla çalışıyor.

Yazılımı sevdi.. Başlarda herşeyle ilgilendi web programlama da yaptı, sokette programladı yeri geldi ağ yönetimi ile uğraştı. Görüntü işlemeden keyif aldı Makine Öğrenmesi ve Örüntü Tanımada kendisini geliştirmeyi istemekte.

2008te MSP oldu belkide bu blogu yazmaya başlamasında en büyük etken=) Bu görevi 2 sene boyunca sürdürdü. Bir yandan 2008de EuroSkillsde Mobil Robotik alanında Türkiyeyi temsil etti. Ardından 2009da Kanada da tekrardan yarışmacı olarak bulundu. Artık bu alanda hakemlik yaparak ve Robotino hakkında öğrendiklerini paylaşarak faydalı olmaya çalışıyor. 

Yapay Zeka, Görüntü İşleme, Kuantum Mekaniği, İstatistik Mekanik ve Bilişsel Bilimlerle ilgili. Geceleri kafasına göre takılıyo. Sabahlarıda öğrencilik yapıyo =)

gibi gibi... 

 

Page Rank

Loading

Google Translate


Şuan ne okuyorum

Bilişsel Psikoloji

Singularity is Near


Ayrıca okuduklarımdan seçtiğim kitaplara buradan ulaşabilirsiniz..

Okuduklarımı üye olarak takip etmek için ise aşağıdaki RSS bağlantısını kullanabilirsiniz. Ayrıca bana kitapta hediye edebilirsiniz =)


CCL


Copyright © Ordinaryus Says That by http://www.vypro.org/ is licensed under a Creative Commons Attribution-No Derivative Works 3.0