Spis treści
Obliczenia inteligentne
zagadnienia
- Pojęcie CI (Computational Intelligence)
- Obliczenia neuronowe
- Obliczenia rozmyte
- Obliczenia ewolucyjne
- Algorytmy genetyczne
- Model sztucznego neuronu (McCullocha-Pittsa)
- Modele sieci
- Perceptron
skok jednostkowy - Neuron Sigmoidalny
funkcja aktywacji: <m>1/{1 + e^{- beta x}}</m> lub tanh(x)
więc funkcja aktywacji jest różniczkowalna, więc mogą być stosowane gradientowe metody optymalizacji przy minimalizacji błędu na wyjściu - Adaline
- Opisane dobrze w Tadeusiewiczu
- neuron instar i outstar
- neuron wta
- neuron hebba
- Funkcje aktywacji
- Typy sieci neuronowych
- warstwowe
- jednokierunkowe
- rekurencyjne
- komórkowe
- łączenie:
- szeregowe
- równoległe
- sprzężenie zwrotne
- Sieć Hopfielda
sieć ze sprzężeniem zwrotnym (rekurencyjna) - Wielowarstwowy Perceptron
- Sieć MADALINE
- Uczenie sieci
- Nauczanie nadzorowane
- Reguła Delta
- <m>Delta W = - eta {delta E}/{delta w}</m>
- wsteczna propagacja błędów (wielowarstwowe sieci)
- nienadzorowane (bez nadzoru, unsupervised/hebbian learning)
dobre do klasyfikacji, agregacji, grupowania- Regułą Hebba - uczenie korelacyjne
<m>{w_{ip}}^{(k+1)} = {w_{ip}}^k + eta {x_i}^(k) {o_p}^(k)</m>- modyfikacja - instar (gwiazda wejści) Grossberga
<m>{w_{ip}}^{(k+1)} = {w_{ip}}^k + eta^(k) ({x_i}^k - {w_ip}^k)</m>
uczenie tylko wybranego neuronu p. - eta może być:
<m>eta^k = 0.1 - lambda k</m>
- uczenie konkurencyjne
jeden neuron, ktory będzie uczony, nie jest przypadkowy - ale wybierany ten, którego wagi obecnie już najlepiej pasują (wygrywający). Dla każdego wek. wejściowego neurony rywalizują i tylko najlepszy będzie poddany treningowi. - Sieć Kohonena
- uczenie z forsowaniem
„przystosowanie metod trenowania bez nauczyciela do wykonywania zadań realizowanych za pomocą nauki z nauczycielem”- autoasocjacja
- zbliżanie wektora wag do wektora odpowiedzi
- outstar
- epoka - cykl, w którym prezentujemy sieci wszystkie wzorce ze zbioru uczącego. Epoka składa się z pewnej ilości iteracji, w której sieć jest uczona na podstawie kolejnego elementu ciągu uczącego.
- Hebb/Anti-Hebb [HaH]
- wzmacniające (kij, marchewka)
Książki
- Tadeusiewicz - Problemy biocybernetyki
- Osowski - Sieci neuronowe w ujęciu algorytmicznym
- Rutkowska - Sieci neuronowe, algorytmy genetyczne, systemy rozmyte
- …
Datasets for Benchmarks and Applications - przydatne zbiory danych