神经网络中偏置的作用是什么？

技术背景

在神经网络的训练中，我们需要调整两类参数：权重和激活函数中的值。同时调整这两个参数会让训练变得不切实际，因为对权重的任何更改都可能抵消对之前数据实例有用的值的更改。为了解决这个问题，引入了偏置神经元。

实现步骤

理解偏置的基本概念

可以将偏置类比为线性函数 $y = ax + b$ 中的常数 $b$。没有 $b$ 时，直线总是经过原点 $(0, 0)$，这可能导致拟合效果不佳；而 $b$ 可以让直线上下移动，从而更好地拟合数据。

认识偏置在神经网络中的作用

移动激活函数：在神经网络中，偏置值可以让激活函数左右移动，这对于成功学习可能至关重要。例如，在一个简单的 1 输入、1 输出且无偏置的网络中，改变权重只能改变激活函数（如 Sigmoid 函数）的“陡峭程度”；而添加偏置后，就可以将整个曲线左右移动，从而使网络能够输出更符合需求的值。
增加输入空间维度：一个没有偏置的神经网络层本质上只是输入向量与矩阵的乘法，这意味着输入全为零的情况下，输出也总是零，这种限制在很多情况下是不合理的。使用偏置可以有效地为输入空间增加一个维度，避免输入向量全为零的情况。

确定是否使用偏置

通常情况：在大多数情况下，偏置是有帮助的。添加偏置神经元更有可能更快地找到解决方案。
特殊情况：在处理图像数据时，可能更倾向于不使用偏置，这样网络可以更独立于数据的大小，通过研究数据内部的相对性来完成任务。现代很多神经网络都采用了这种方式。

核心代码

以下是一个简单的 Python 示例，展示了有偏置和无偏置的神经网络在拟合数据时的差异：

import numpy as np
import matplotlib.pyplot as plt

# 定义 Sigmoid 激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 无偏置的网络
def network_without_bias(x, w):
    return sigmoid(np.dot(x, w))

# 有偏置的网络
def network_with_bias(x, w, b):
    return sigmoid(np.dot(x, w) + b)

# 生成数据
x = np.linspace(-5, 5, 100)

# 无偏置的网络输出
w0 = 1
y_without_bias = network_without_bias(x, w0)

# 有偏置的网络输出
w1 = 1
b = -5
y_with_bias = network_with_bias(x, w1, b)

# 绘制图像
plt.plot(x, y_without_bias, label='Without Bias')
plt.plot(x, y_with_bias, label='With Bias')
plt.xlabel('Input')
plt.ylabel('Output')
plt.title('Effect of Bias in Neural Network')
plt.legend()
plt.show()