PAYATHON 2026

T5Tokenizer.from_pretrained 误传 model 对象引发 Repo id 错误

数据小陈

结论

问题出在这一行:tokenizer = T5Tokenizer.from_pretrained(model)。from_pretrained() 的第一个参数要传模型 ID(比如 "google-t5/t5-small")或本地目录路径,不能传已经实例化的 model 对象。把 model 对象传进去后,Hugging Face Hub 会拿模型的字符串表示去校验 repo id,于是报 Repo id must use alphanumeric chars...。

原因

from_pretrained() 是按预训练名称或路径加载的类方法,内部会校验 repo id。model 的字符串表示是完整的 T5 网络结构,里面带括号、空格、冒号等字符,不符合 repo id 规则。报错信息里出现的 'T5ForConditionalGeneration( ... )',就是这段模型结构被当成了 repo id。模型权重本身已经加载完成,不是权重损坏。

解决步骤

把加载 tokenizer 时传的参数改成模型 ID 或本地路径,并跟加载 model 用的 checkpoint 保持一致:

from transformers import T5ForConditionalGeneration, T5Tokenizer
import torch as T

model_id = "google-t5/t5-small"

model = T5ForConditionalGeneration.from_pretrained(
    model_id,
    dtype=T.float16,
    device_map="auto",
)
tokenizer = T5Tokenizer.from_pretrained(model_id)

print(tokenizer)

如果想让 Transformers 自动选择 tokenizer 类,也可以这样写:

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(model_id)

注意:原代码里的 dtype=T.float16 在你这版环境里既然能让模型完成加载,就先保留;换到其他 transformers 版本后,如果这个参数名不被接受,再按对应版本文档改成 torch_dtype=T.float16。它不是这次 Repo id 报错的原因。

注意事项

  • T5Tokenizer.from_pretrained(model) 里的 model 不是字符串,不能当作 repo id 使用。
  • 如果模型在本地,就传本地目录字符串,比如 "./t5-small",不要传 model 对象。
  • 微调 T5 时,tokenizer 和 model 最好来自同一个 checkpoint。
  • 先单独确认 tokenizer 能加载,再继续配置 PEFT/LoRA,排查起来会更直接。

备注:内容仅供参考。