Obliczenia inteligentne

• Pojęcie CI (Computational Intelligence)
  1. Obliczenia neuronowe
  2. Obliczenia rozmyte
  3. Obliczenia ewolucyjne
     • Algorytmy genetyczne
• Model sztucznego neuronu (McCullocha-Pittsa)
• Modele sieci
  • Perceptron
    skok jednostkowy
  • Neuron Sigmoidalny
    funkcja aktywacji: <m>1/{1 + e^{- beta x}}</m> lub tanh(x)
    więc funkcja aktywacji jest różniczkowalna, więc mogą być stosowane gradientowe metody optymalizacji przy minimalizacji błędu na wyjściu
  • Adaline
    • Opisane dobrze w Tadeusiewiczu
  • neuron instar i outstar
  • neuron wta
  • neuron hebba
• Funkcje aktywacji
• Typy sieci neuronowych
  • warstwowe
  • jednokierunkowe
  • rekurencyjne
  • komórkowe
  • łączenie:
    • szeregowe
    • równoległe
    • sprzężenie zwrotne
• Sieć Hopfielda
  sieć ze sprzężeniem zwrotnym (rekurencyjna)
• Wielowarstwowy Perceptron
• Sieć MADALINE
• Uczenie sieci
  • Nauczanie nadzorowane
    • Reguła Delta
    • <m>Delta W = - eta {delta E}/{delta w}</m>
    • wsteczna propagacja błędów (wielowarstwowe sieci)
  • nienadzorowane (bez nadzoru, unsupervised/hebbian learning)
    dobre do klasyfikacji, agregacji, grupowania
    • Regułą Hebba - uczenie korelacyjne
      <m>{w_{ip}}^{(k+1)} = {w_{ip}}^k + eta {x_i}^(k) {o_p}^(k)</m>
      • modyfikacja - instar (gwiazda wejści) Grossberga
        <m>{w_{ip}}^{(k+1)} = {w_{ip}}^k + eta^(k) ({x_i}^k - {w_ip}^k)</m>
        uczenie tylko wybranego neuronu p.
      • eta może być:
        <m>eta^k = 0.1 - lambda k</m>
    • uczenie konkurencyjne
      jeden neuron, ktory będzie uczony, nie jest przypadkowy - ale wybierany ten, którego wagi obecnie już najlepiej pasują (wygrywający). Dla każdego wek. wejściowego neurony rywalizują i tylko najlepszy będzie poddany treningowi.
    • Sieć Kohonena
  • uczenie z forsowaniem
    „przystosowanie metod trenowania bez nauczyciela do wykonywania zadań realizowanych za pomocą nauki z nauczycielem”
    • autoasocjacja
    • zbliżanie wektora wag do wektora odpowiedzi
• outstar
• epoka - cykl, w którym prezentujemy sieci wszystkie wzorce ze zbioru uczącego. Epoka składa się z pewnej ilości iteracji, w której sieć jest uczona na podstawie kolejnego elementu ciągu uczącego.
• Hebb/Anti-Hebb [HaH]
• wzmacniające (kij, marchewka)

• Tadeusiewicz - Problemy biocybernetyki
• Osowski - Sieci neuronowe w ujęciu algorytmicznym
• Rutkowska - Sieci neuronowe, algorytmy genetyczne, systemy rozmyte
• Sygnał mowy.
• Rozpoznawanie obrazów
• …

Datasets for Benchmarks and Applications - przydatne zbiory danych