12.1.2BERT模型是语言表示模型1.词嵌入技术（1）基本概念（2）常见的词嵌入模型（3）学习过程（4）特点（5）应用2.语言表示模型一些常见的语言表示模型如下：（1）Word2Vec（2）GloVe（3）FastText（4）ELMo（5）BERT模型（6）GPT12.1.3BERT模型的上下游任务BERT模型的上游任务和下游任务是模型在不同阶段的目标。1.上游任务（1）掩码语言模型（2）下一句预测2.下游任务下游任务是指模型在预训练完成之后，针对特定应用场景进行的训练和评估。对于BERT模型，预训练完成后，模型可以在各种特定的下游任务