基本信息
文件名称：2025年AITokenizers练习模拟试卷.docx
文件大小：40.56 KB
总页数：9 页
更新时间：2025-10-25
总字数：约6.3千字
文档摘要
2025年AITokenizers练习题
考试时间：______分钟总分：______分姓名：______
一、选择题（每题2分，共20分）
1.下列哪一项不是SubwordTokenization的主要优势？
A.能够有效地表示未见过的词汇。
B.通常比全词Tokenization需要的词汇表更小。
C.总是能产生比全词Tokenization更少的Token数量。
D.可以捕获单词内部的语义信息。
2.在HuggingFace`Transformers`库中，`[CLS]`特殊Token通常用于什么目的？
A.