T5Tokenizer.from_pretrained 误传 model 对象引发 Repo id 错误
数据小陈
结论
问题出在这一行:tokenizer = T5Tokenizer.from_pretrained(model)。from_pretrained() 的第一个参数要传模型 ID(比如 "google-t5/t5-small")或本地目录路径,不能传已经实例化的 model 对象。把 model 对象传进去后,Hugging Face Hub 会拿模型的字符串表示去校验 repo id,于是报 Repo id must use alphanumeric chars...。
原因
from_pretrained() 是按预训练名称或路径加载的类方法,内部会校验 repo id。model 的字符串表示是完整的 T5 网络结构,里面带括号、空格、冒号等字符,不符合 repo id 规则。报错信息里出现的 'T5ForConditionalGeneration( ... )',就是这段模型结构被当成了 repo id。模型权重本身已经加载完成,不是权重损坏。
解决步骤
把加载 tokenizer 时传的参数改成模型 ID 或本地路径,并跟加载 model 用的 checkpoint 保持一致:
from transformers import T5ForConditionalGeneration, T5Tokenizer
import torch as T
model_id = "google-t5/t5-small"
model = T5ForConditionalGeneration.from_pretrained(
model_id,
dtype=T.float16,
device_map="auto",
)
tokenizer = T5Tokenizer.from_pretrained(model_id)
print(tokenizer)
如果想让 Transformers 自动选择 tokenizer 类,也可以这样写:
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(model_id)
注意:原代码里的 dtype=T.float16 在你这版环境里既然能让模型完成加载,就先保留;换到其他 transformers 版本后,如果这个参数名不被接受,再按对应版本文档改成 torch_dtype=T.float16。它不是这次 Repo id 报错的原因。
注意事项
T5Tokenizer.from_pretrained(model)里的model不是字符串,不能当作 repo id 使用。- 如果模型在本地,就传本地目录字符串,比如
"./t5-small",不要传 model 对象。 - 微调 T5 时,tokenizer 和 model 最好来自同一个 checkpoint。
- 先单独确认 tokenizer 能加载,再继续配置 PEFT/LoRA,排查起来会更直接。
备注:内容仅供参考。
