NLP与大模型难度 ★★★☆☆
Tokenizer
AI不会读整句话——先把文章切成"词块"再逐个处理
分享：
📖 详细解释
🎯 一句话定义
AI不会读整句话——先把文章切成"词块"再逐个处理
⚙️ 工作原理
BPE(字节对编码)：从字符开始合并最频繁出现的对。WordPiece/BPE用于GPT系列，SentencePiece用于多语言
💡 生活类比
"读英语时不会把"understand"当一个字母一个字母看，而是一个词一个词读。Tokenizer就是AI的"断词器""
🌍 真实应用
GPT用BPE把"unbelievable"拆成["un", "believ", "able"]，中文按字或子词切分