激活函数

一、激活函数

1. sigmod

   $ g(z) = \frac{1}{1 + e^{-z}} $
   
   适用于二分类问题/输出层为二进制情况

---

2. ReLU——most common choice(faster)

   $ g(z) = \max(0,z)$
   
   适用于回归问题，y≥0

---

3. Linear activation function
   $ g(z) = z $
   there is no g!
   适用于回归问题，y=+/-

---

4. Softmax

---

二、如何选择