TensorFlow中logits的含义解析

技术背景

在机器学习尤其是深度学习领域，logits 是一个常见且容易引起混淆的术语。在TensorFlow里，许多函数如 tf.nn.softmax_cross_entropy_with_logits 都会用到 logits 这个参数。理解 logits 的准确含义，对于正确使用这些函数和构建有效的神经网络模型至关重要。

实现步骤

数学层面的logit函数

在数学中，logit 是一个将概率（范围在 [0, 1]）映射到实数集（范围在 (-∞, +∞)）的函数。概率为 0.5 对应 logit 值为 0，负的 logit 值对应概率小于 0.5，正的 logit 值对应概率大于 0.5。其数学公式为：
[
\text{logit}(p) = \log\left(\frac{p}{1 - p}\right)
]
其中，p 是概率。

机器学习中的logits

在机器学习中，logits 通常指分类模型生成的原始（未归一化）预测向量，一般会将其输入到归一化函数中。对于多分类问题，logits 通常作为 softmax 函数的输入，softmax 函数会将其转换为一个归一化的概率向量，向量中的每个值对应一个可能的类别。
以一个简单的神经网络为例，假设最后一层是全连接层，其输出就是 logits。以下是一个使用TensorFlow构建简单神经网络的示例：

import tensorflow as tf

# 定义输入层
input_layer = tf.keras.Input(shape=(784,))

# 定义隐藏层
hidden_layer = tf.keras.layers.Dense(128, activation='relu')(input_layer)

# 定义输出层，输出的就是logits
logits = tf.keras.layers.Dense(10)(hidden_layer)

# 创建模型
model = tf.keras.Model(inputs=input_layer, outputs=logits)

归一化处理

在得到 logits 后，通常会使用 softmax 函数将其转换为概率分布：

# 对logits应用softmax函数
probabilities = tf.nn.softmax(logits)

计算损失

在训练模型时，通常会使用交叉熵损失函数。在TensorFlow中，可以使用 tf.nn.softmax_cross_entropy_with_logits 函数，该函数会自动对 logits 应用 softmax 函数并计算交叉熵损失：

# 定义目标标签
target_output = tf.keras.Input(shape=(10,))

# 计算损失
loss = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=target_output)

核心代码

import tensorflow as tf

# 定义输入层
input_layer = tf.keras.Input(shape=(784,))

# 定义隐藏层
hidden_layer = tf.keras.layers.Dense(128, activation='relu')(input_layer)

# 定义输出层，输出的就是logits
logits = tf.keras.layers.Dense(10)(hidden_layer)

# 对logits应用softmax函数
probabilities = tf.nn.softmax(logits)

# 定义目标标签
target_output = tf.keras.Input(shape=(10,))

# 计算损失
loss = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=target_output)

# 创建模型
model = tf.keras.Model(inputs=[input_layer, target_output], outputs=loss)

最佳实践

• 使用 tf.nn.softmax_cross_entropy_with_logits：在计算交叉熵损失时，建议使用 tf.nn.softmax_cross_entropy_with_logits 而不是手动对 logits 应用 softmax 函数再计算交叉熵，因为该函数在数值计算上更稳定。
• 理解 logits 的本质：logits 是神经网络最后一层的原始输出，不要将其与概率混淆。在需要概率时，使用 softmax 函数进行转换。

常见问题

为什么TensorFlow函数中使用 logits 这个术语？

这主要是历史原因。在早期的统计学习中，logit 函数用于将概率映射到实数域，在深度学习中，人们将神经网络最后一层的原始输出称为 logits 层，其输出值也被称为 logits。

logits 和概率有什么区别？

logits 是神经网络最后一层的原始输出，取值范围为 (-∞, +∞)；而概率是经过 softmax 等归一化函数处理后的输出，取值范围在 [0, 1]，且所有概率值之和为 1。

tf.nn.softmax_cross_entropy_with_logits 与手动计算的区别？

手动计算时，先对 logits 应用 softmax 函数得到概率，再计算交叉熵。而 tf.nn.softmax_cross_entropy_with_logits 函数在内部进行了优化，避免了数值不稳定的问题，尤其是在处理较大或较小的 logits 值时。