Keras 模型加载后 Lambda.call() 报 NameError 如何解决?
结论
报错由 Lambda 引用外部变量 sentence_encoder_layer 引起:
layers.Lambda(lambda x: sentence_encoder_layer(x))
模型加载后,恢复的函数执行时找不到这个名字。即使在 Notebook 中重新定义同名变量,或将它加入 custom_objects,也不能保证恢复后的函数能将它作为全局变量访问。
建议将 hub.KerasLayer 直接放进模型,由 Keras 按层保存和恢复。已有的 Dense 权重可以尝试迁移到重建后的模型中。
为什么加载成功,评估时才报错?
load_model() 能返回模型、summary() 能显示结构,不代表每一层都已成功执行。
调用 evaluate()、数据经过 Lambda 时,函数才需要解析 sentence_encoder_layer,这时就触发了堆栈中的 NameError。
两个参数的作用不同:
custom_objects用于帮助反序列化器识别自定义对象,不能视为给匿名函数注入任意全局变量的接口。safe_mode=False允许某些原本受限制的反序列化操作,不负责补齐函数依赖,也不会修复这个变量引用。
通过匿名函数调用外部层,也会使层配置和变量的跟踪更难可靠地保存。当前堆栈只能确认名称解析失败,无法据此断定所有权重都已丢失。
先确认 Keras 与 TensorFlow Hub 的兼容性
下面的代码要求所使用的 Keras 实现与 hub.KerasLayer 兼容。
原问题没有提供 TensorFlow、Keras 和 TensorFlow Hub 的版本,因此无法判断直接添加 hub.KerasLayer 时是否还会遇到兼容性错误。如果出现“对象不是 Keras Layer”或 KerasTensor 相关错误,应先检查这三个包的版本及兼容要求,并确保模型、层、优化器和加载接口使用同一套 Keras 实现。
即使把不兼容的层包在 Lambda 中后暂时能够训练,也无法证明保存和恢复流程可靠。
重建模型并迁移已有 Dense 权重
原模型的 USE 层设置了 trainable=False。如果使用相同的预训练模型和配置,可以重新创建编码器,再从已有模型中取出两个训练过的 Dense 层的权重。
下面假定 loaded_model_6 已经能够加载,且其中的 Dense 权重可以读取;迁移时不需要调用旧模型的 Lambda:
import tensorflow as tf
import tensorflow_hub as hub
# 读取已加载模型中的分类头权重。
old_dense_layers = [
layer for layer in loaded_model_6.layers
if isinstance(layer, tf.keras.layers.Dense)
]
if len(old_dense_layers) != 2:
raise ValueError("Expected two Dense layers in the saved model")
head_weights = [layer.get_weights() for layer in old_dense_layers]
encoder = hub.KerasLayer(
"https://www.kaggle.com/models/google/universal-sentence-encoder/TensorFlow2/universal-sentence-encoder/2",
trainable=False,
name="USE",
)
fixed_model = tf.keras.Sequential([
tf.keras.Input(shape=(), dtype=tf.string),
encoder,
tf.keras.layers.Dense(64, activation="relu"),
tf.keras.layers.Dense(1, activation="sigmoid"),
], name="model_6_USE_fixed")
# 执行一次前向计算,确保新模型的权重已创建。
fixed_model(tf.constant(["A sample sentence."]))
new_dense_layers = [
layer for layer in fixed_model.layers
if isinstance(layer, tf.keras.layers.Dense)
]
for new_layer, weights in zip(new_dense_layers, head_weights):
new_layer.set_weights(weights)
fixed_model.compile(
loss="binary_crossentropy",
optimizer=tf.keras.optimizers.Adam(),
metrics=["accuracy"],
)
如果原始训练后的 model_6 仍在内存中,也可以从 model_6.layers 提取 Dense 权重。
这种方法保留的是分类头权重。代码重新创建了优化器,没有恢复原优化器的训练状态。如果权重读取失败、形状不匹配,或编码器配置发生变化,就不能直接按此方式恢复。
重新保存、加载并验证
新模型不再包含引用外部变量的匿名函数,加载时只需提供 KerasLayer 的类型映射:
fixed_model.save("model_6_fixed.keras")
restored_model = tf.keras.models.load_model(
"model_6_fixed.keras",
custom_objects={"KerasLayer": hub.KerasLayer},
compile=False,
)
restored_model.compile(
loss="binary_crossentropy",
optimizer=tf.keras.optimizers.Adam(),
metrics=["accuracy"],
)
# 比较保存前后的实际输出。
probe = tf.constant([
"A sample sentence.",
"Another sample sentence.",
])
before = fixed_model(probe, training=False)
after = restored_model(probe, training=False)
tf.debugging.assert_near(before, after)
metrics = restored_model.evaluate(val_sentences, val_labels)
pred_probs = restored_model.predict(val_sentences)
比较输出可以检查新模型保存、加载前后是否一致,但不能代替与原训练模型的对照。如果原模型仍能运行,还应使用同一批输入比较原模型和重建模型的预测。
原代码中的 loaded_model_pred_probs 这个名字也容易让人误解:evaluate() 返回损失和指标;需要预测概率时,应使用 predict()。
备注:内容仅供参考。
