基本信息

---

下载

文档摘要

---

2025年AITokenizers模拟练习

考试时间：______分钟总分：______分姓名：______

一、选择题

1.在自然语言处理中，将文本切分成更细粒度单元（如单词、子词）的过程通常称为？

A.分句

B.分词

C.分块

D.标注

2.下列哪一项不是AITokenizers库中常见的特殊标记？

A.[PAD]

B.[CLS]

C.[SUB]

D.[UNK]

3.当输入文本长度超过指定`max_length`时，AITokenizers的`encode`方法默认会执行什么操作？