PAGE10
PAGE10
PAGE11
PAGE11
课题
关键词提取
课时
8课时（360min）
教学目标
知识目标：
（1）理解关键词提取的基本概念
（2）掌握关键词提取算法TF-IDF和TextRank
（3）掌握常见的主题模型算法LSA和LDA
（4）了解词云的基本概念与生成方法
技能目标：
（1）能够使用TF-IDF、TextRank和LDA算法进行关键词提取
（2）能够使用WordCloud库生成词云
（3）能够使用基于统计的方法实现自动文摘
素养目标：
（1）自觉培养创新思维能力，养成良好的思考习惯
（2）培养严谨的专业精神和职业操守，通过实践不断提升自己的专业能力和素质
教学重难点
教学重点：关键词提取的基本概念，关键词提取算法TF-IDF和TextRank，常见的主题模型算法LSA和LDA，词云的基本概念与生成方法
教学难点：能够使用TF-IDF、TextRank和LDA算法进行关键词提取，能够使用WordCloud库生成词云，能够使用基于统计的方法实现自动文摘
教学方法
案例分析法、问答法、讨论法、讲授法
教学用具
电脑、投影仪、多媒体课件、教材
教学过程
主要教学内容及步骤
课前任务
【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，收集关键词提取的相关知识，并进行了解
【学生】提前上网观看相关资料，熟悉教材
考勤
【教师】使用APP进行签到
【学生】按照老师要求签到
问题导入
【教师】播放“关键词提取的应用领域”视频，并提出以下问题：
问题1：简述关键词提取的主要应用领域。
问题2：举例说明推荐系统是如何应用关键词提取技术的。
【学生】观看、思考、讨论、回答
传授新知
【教师】总结学生的回答，引入新知，讲解关键词提取的基本概念，关键词提取算法TF-IDF和TextRank，常见的主题模型算法LSA和LDA，词云的基本概念与生成方法等知识
4.1关键词提取概述
关键词提取是从文本中识别和提取最重要的词或短语的过程，这些词或短语能够代表文本的主题。关键词提取在自然语言处理任务中发挥着重要作用，如信息检索、文本分类和自动文摘等都应用了关键词提取技术。
?【教师】利用多媒体播展示“关键词提取算法分类”表格，并进行讲解
关键词提取算法可以分为有监督的关键词提取算法和无监督的关键词提取算法两类，如图所示。
（1）有监督的关键词提取算法：将关键词提取过程视为一个二分类问题，先提取出候选词，然后与已构建好的词表进行匹配，判断每个候选词是否为关键词。有监督的关键词提取算法的优点是可以获取较高的精度，缺点是需要大量的标注数据，人工成本较高。
（2）无监督的关键词提取算法：对数据要求较低，不需要人工生成的词表和标注数据，通常利用某些方法发现文本中比较重要的词作为关键词。无监督的关键词提取算法可分为3类：基于文本统计特征的关键词提取算法（如TF-IDF算法）、基于词图模型的关键词提取算法（如TextRank算法）和基于主题模型的关键词提取算法（如LSA算法、LDA算法）。
4.2TF-IDF算法
词频-逆文档频率（termfrequency-inversedocumentfrequency,TF-IDF）算法是一种常用于信息检索和文本挖掘的加权技术，其基本思想是词的重要性随着它在文档中出现次数的增加而上升，同时会随着它在语料库中出现频率的升高而下降。
TF-IDF算法由两部分组成：TF算法和IDF算法。词频（termfrequency,TF）算法统计一个词w在一篇文档d中出现的次数，其出现的次数越多对文档d的重要性就越强。由于语料库中不同文档具有不同的长度，则一个词在一篇较长文档中出现的次数可能高于较短的文档。因此，需对其进行标准化，即除以文档中词的总数。TF算法的计算公式为
逆文档频率（inversedocumentfrequency,IDF）算法统计词w在语料库的多少篇文档中出现。其基本思想是一个词在越少的文档中出现，那么它区分文档的能力就越强，即为常见词分配一个较小的权重，为罕见词分配一个较大的权重，词的重要性与词的常见程度成反比。IDF算法的计算公式为
?【高手点拨】
IDF?算法的计算公式中分母之所以加?1?是采用了拉普拉斯平滑，以避免部分词在语料库中不出现而导致分母为0的情况，增强了算法的健壮性。
……（详见教材）
?【教师】通过例题，帮助学生掌握TF-IDF算法
【例?4-1】编写程序，使用?TF-IDF?算法提取文本“冬奥会……统一性。”中最重要的10个关键词。
?【指点迷津】
例?4-1?所使用的语料库“corpus.txt”和停用词表“stops_list.txt”可在本教材配套资源“item4/data”中获取。
【参考