作者：Harkerbest
声明：本文章为原创文章，本文章永久链接：https://www.harkerbest.cn/p/853， 转载请注明原文地址，盗版必究！！！
全系列文章目录请参见：
常见激活函数的Python实现
阶跃函数的实现
f(x)=
\begin{cases}
1& \text{x$>$0} \\
0& \text{x$\leq$0}
\end{cases}阶跃函数的实现非常简单
def step_function(x):
if x>0:
return 1
else:
return 0但是为了方便后续使用NumPy实现神经网络，这里采用了支持NumPy数组的方法：
def step_function(x):
y = x > 0 # 数组中大于0的数替换为True，反之则替换为False
return y.astype(np.int) # 将True和False替换为1和0sigmoid函数的实现
f(x) = \frac{1}{1 + e^{-x}}def sigmoid(x):
return 1 / (1+np.exp(-x))ReLU函数的实现
f(x)=
\begin{cases}
x& \text{x$>$0} \\
0& \text{x$\leq$0}
\end{cases}def relu(x):
return np.maximum(0, x)