Funkcja aktywacji | Wzór matematyczny | Gładka | Monotoniczna | Różniczkowalna | Uwagi |
Funkcja liniowa | | | | | - Funkcja nieograniczona
- Z reguły
|
Jednostronnie obcięta funkcja liniowa | | | | (oprócz punktu ) | |
Obcięta funkcja liniowa | | | | (oprócz punktów i ) | |
Funkcja progowa unipolarna | | | | | - a – zadana wartość progowa
- Z reguły
- Taką funkcję aktywacji zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts
|
Funkcja progowa bipolarna | | | | | - a – zadana wartość progowa
- Z reguły
|
Sigmoidalna funkcja unipolarna (funkcja logistyczna) | | | | | - Z reguły
- Gdy funkcja przechodzi w progową unipolarną funkcję aktywacji
|
Sigmoidalna funkcja bipolarna (tangens hiperboliczny) | | | | | - Z reguły
- Gdy funkcja przechodzi w progową bipolarną funkcję aktywacji
|
Funkcja Gaussa | | | | | - e – liczba Eulera
|
Znormalizowana funkcja wykładnicza (softmax) | | | | | - Prawdopodobieństwo zawsze sumuje się do jedności:
- e – liczba Eulera
- K – szerokość wektorów wejściowego i wyjściowego
- Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych
|