基本信息
文件名称:《深度学习原理及应用》课件 第8章word2vec模型.pptx
文件大小:1.69 MB
总页数:31 页
更新时间:2025-07-30
总字数:约6千字
文档摘要

第8章word2vec模型在上一章中,详细探讨了NLP(自然语言处理)领域中两个核心技术:基于统计的N-gram模型与基于深度学习的NNLM(神经网络语言模型)。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码),这种方法可能忽略了单词之间在某些层面上的相似性,从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息,采用深度神经网络技术。利用目标词之前的词去预测目标词本身,这种方法成功地为词向量赋予了包含语义信息的能力。

NNLM模型的局限性计算量过大NNLM在词嵌入表示上取得了一定的成果,但也存在计算量过大的问题,