实验4语义分析
一、实验目的
1.熟悉中文语义分析常用算法原理。
2.熟悉词向量表示的原理和应用。
二、实验内容
1.算法原理
1.1基本描述
语义分析是指运用各种机器学习方法,学习与理解一段文本所表示的语义内容,任何对语言的理解都可以归为语义分析的范畴。一段文本通常由词、句子和段落来构成,根据理解对象的语言单位不同,语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析。一般来说,词汇级语义分析关注的是如何获取或区别单词的语义,句子级语义分析则试图分析整个句子所表达的语义,而篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元(可以是句子从句或段落)间的语义关系。简单地讲,语义分析的目标就是通过建立有效的模型和系统,实现在各个语言单位(包括词汇、句子和篇章等)的自动语义分析,从而实现理解整个文本表达的真实语义。本实验用词向量分析来进行语义分析。
专业术语
?词向量分析
在自然语义处理领域中,为了能表示人类的语言符号,一般会把这些符号转成一种数学向量形式以方便处理,我们把语言单词嵌入到向量空间中就叫词嵌入(wordembedding)技术。谷歌开源的word2vec就是一种词嵌入工具,它能生成词向量,通过词向量可以很好地度量词与词之间的相似性。word2vec采用的模型包含了连续词袋模型(CBOW)和Skip-Gram模型。它能够将单词转化为向量来表示,这样词与词之间就可以定量的去度量他们之间的关系,挖掘词之间的联系。进而在大数据量上进行高效训练从而得到词向量。
2.功能设计
2.1功能描述
AiNLP人工智能轻量化应用框架是一款面向于人工智能自然语言应用的开发框架,采用统一模型调用、统一硬件接口、统一算法封装和统一应用模板的设计模式,实现了嵌入式边缘计算环境下进行快速的应用开发和项目实施。
AiNLP为模型算法的调用提供RESTful调用接口,实时返回自然语言算法处理结果,同时通过物联网云平台的应用接口,实现与硬件的连接和互动,最终形成各色智联网产业应用。
AiNLP框架如下图所示:
三、实验步骤
1.工程部署
1.1硬件部署
1)准备人工智能边缘应用平台,给边缘计算网关正确连接Wi-Fi天线、电源。
2)按下电源开关上电启动边缘计算网关,将启动ubuntu操作系统。
3)系统启动后,连接局域网内的Wi-Fi网络,记录边缘计算网关的IP地址
1.2工程部署
1)运行MobaXterm工具,通过SSH登录到边缘计算网关(参考附录2)。
2)在SSH终端创建实验工作目录:
3)通过SSH将本实验工程代码和ainlp工程包(DISK-AILab\02-软件资料\02-综合应用\ainlp.zip)
上传到~/ainlp-exp目录下(文件的上传参考附录2)。
4)在SSH终端输入以下命令解压缩实验工程:
2.工程运行
1)通过MobaXterm工具创建的SSH连接,将修改好的文件上传到边缘计算网关(参考附录2)。
2)在SSH终端输入以下命令运行实验工程:
3.语义分析
1)点击应用左侧的菜单选择“语义分析”,进入到实验页面。
2)在实验交互部分,下面的文本框为需要语义分析的文本内容,填写好后点击“发送”按钮将会调用算法进行计算,并在上方的窗口显示返回应用需要的结果内容,同时在右边的实验结果部分会显示算法返回的所有内容。(注意:本算法执行预计需要20~60秒左右)
3)修改需要语义分析的文本内容,查看算法返回的结果。