语音情感识别实验
一、实验目的
1.了解语音情感识别技术原理。
2.熟悉深度学习模型实现语音情感识别功能。
3.掌握深度学习循环神经网络。
二、实验内容
1.算法原理
1.1基本描述
语音作为语言的第一属性，在语言中起决定性的支撑作用，不仅包含说话人所要表达的文本内容，也包含说话人所要表达的情感信息。语音情感识别是指从语音信号中获取相应的情感倾向信息。对于语音的情感倾向，不同学者有不同的定义，其中美国心理学家Ekman等提出的6大基本情感（愤怒-angry、厌恶-disgust、害怕-fear、高兴-joy、悲伤-sadness、惊讶-surprise）在当今情感相关研究领域的使用较为广泛。
传统上语音情感识别通常从语音信号中提取时域和频域特征，然后采用K近邻或支持向量机（SVM）等分类算法进行情感分类。基于深度学习的情感识别，一般也是采集语音信号特征，采用卷积神经网络（CNN）或循环神经网络如长短期记忆神经网络（LSTM）等进行语音情感识别。实践证明，基于深度学习的情感识别，具有表征能力强、模型鲁棒性高等特点，在目前的智能客服、人机交互等领域占有主流的地位。
1.2算法过程
本实验采用librosa库从语音声波文件中，提取语音信号时域和频域特征，包括语音振幅、相位、梅尔倒相谱特征MFCC、过零率、频谱能量分布等，并通过循环神经网络LSTM，基于语音情感标注数据，建立语音情感模型，然后对录入的语音信号进行情感识别，以下是算法流程示意图：
2.功能设计
2.1功能描述
AiNLP人工智能轻量化应用框架是一款面向于人工智能自然语言应用的开发框架，采用统一模型调用、统一硬件接口、统一算法封装和统一应用模板的设计模式，实现了嵌入式边缘计算环境下进行快速的应用开发和项目实施。
AiNLP为模型算法的调用提供RESTful调用接口，实时返回自然语言算法处理结果，同时通过物联网云平台的应用接口，实现与硬件的连接和互动，最终形成各色智联网产业应用。
AiNLP框架如下图所示：
三、实验步骤
1.工程部署
1.1硬件部署
1）准备人工智能边缘应用平台，给边缘计算网关正确连接Wi-Fi天线、电源。
2）按下电源开关上电启动边缘计算网关，将启动ubuntu操作系统。
3）系统启动后，连接局域网内的Wi-Fi网络，记录边缘计算网关的IP地址，比如：192.168.100.200。
1.2工程部署
1）运行MobaXterm工具，通过SSH登录到边缘计算网关
2）在SSH终端创建实验工作目录，若文件夹已存在则跳过该步骤：
3）通过SSH将本实验代码和ainlp工程文件上传到~/ainlp-exp目录下
4）在SSH终端输入以下命令解压缩实验工程：
2.工程运行
1）通过MobaXterm工具创建的SSH连接，将修改好的文件上传到边缘计算网关2）在SSH终端输入以下命令运行实验工程：
3.语音情感识别
1）在实验交互区右下角有录音图标，点击可进行录音（点击录音后，chrome浏览器会弹出提示使用麦克风的权限，需要点击“允许”继续）。
2）处于录音状态时，录音图标显示动态效果，提示“录音中”，对着麦克风（边缘网关摄像头内部集成了麦克风）进行说话录音，再次点击录音图标则完成录音，算法将进行语音识别并弹窗提示识别状态，识别完成后在实验交互区返回录制语音，并展示录音声波图形和情感识别雷达图，在实验结果区可以看到算法返回的结果。
3）在实验交互区右下角有播放图标，可以播放录制的音频，用于对分析结果的对比和理解。
实验交互、工业试验平台、工业分拣、运输、机器视觉识别、综合案例