第8章机器学习方法机器学习介绍01无监督学习02监督学习03强化学习05本讲提纲04回归
什么是学习“学习是系统通过经验提升性能的过程。”---HerbertSimon卡内基·梅隆大学图灵奖(1975)人工智能，人类认知心理学诺贝尔经济学奖(1978)
什么是机器学习由机器学习泰斗汤姆·米切尔(TomMitchell)给出的更加数学化的定义:机器学习是从人工智能中产生的一个重要学科分支，是实现智能化的关键机器学习是一门研究学习算法的学科，这些算法能够：在某些任务T上通过经验E提升性能P
机器学习的分类机器学习可以根据是否需要标注数据（即目标变量）来进行划分，这也是主流的分类方式，可大致划分为三大类：监督学习（supervisedlearning）、无监督学习（unsupervisedlearning）和强化学习（reinforcementlearning）。监督学习：有人为标注无监督学习：无人为标注强化学习：间接人为标注
机器学习能做什么应用情形：模型基于大量数据例子：百度网络搜索，股票交易输出必须是个性化的例子：商品推荐人类不能解释专业知识例子：语音/人脸识别，围棋游戏人类的专业知识不存在例子：在火星上导航
机器学习历史1950年代：Samuel的跳棋程序创建机器学习术语1960年代：神经网络，感知机模式识别Minsky和Papert证明感知机的局限性1970年代：符号概念归纳Winston的结构学习系统专家系统和知识获取瓶颈Quinlan的ID3算法使用AM的数学发现ArthurSamuel在1959年创造了机器学习这个词1980年代:高级决策树和规则学习基于解释的学习(EBL)学习、规划、解决问题三间小屋问题类比认知架构神经网络复苏(反向传播)Valiant的PAC学习理论注重实验方法
机器学习历史1990年代数据挖掘自适应软件代理和网络应用程序文本学习强化学习(RL)归纳逻辑编程(ILP)组合:装袋、提升和堆叠贝叶斯网络学习支持向量机核方法2000年代图模型变分推理统计关系学习迁移学习序列标记集体分类和结构化输出计算机系统应用编译器调试图形安全性(入侵、病毒和蠕虫检测)电子邮件管理学习的个性化助手机器人和视觉的学习
机器学习历史2010年代深度学习从大数据中学习结合知识图谱的机器学习使用GPU或HPC学习多任务+终身学习深度强化学习，AlphaGo视觉、语音、文本、网络、行为等的庞大应用...2020年代结合逻辑推理的深度学习超大规模预训练模型（GPT-3等）无人驾驶AI生物制药技术生成式模型的爆发（ChatGPT、DALL-E、Diffusion）…
机器学习开发流程从宏观上了解机器学习的开发流程，有利于对机器学习的整体认识。下图展示了机器学习的典型开发流程。
机器学习开发流程
单变量线性回归
多元线性回归?
回归任务基于样本的特征，对样本的某一属性进行预测。例如，基于房子的大小预测房子的价格；基于过去几天的股票价格预测明天的价格；基于前几天的气温预测未来几天的气温。
逻辑回归
拟合、过拟合和泛化当统计模型或机器学习算法无法捕捉数据的基本变化趋势时,就会出现欠拟合。
监督学习监督学习是指我们给算法一个数据集，并且给定正确答案。机器通过数据来学习正确答案的计算方法。监督学习类似于老师教学生，把知识直接传授给学生，学生记住了老师讲解的知识，即可用于实践。
监督学习①②③苹果桔子颜色大小大小颜色监督信息训练分类模型测试模型你们按照标注好的监督信息进行训练下面是监督学习的一个例子，学习的目的是让机器分辨苹果和桔子。收集一些苹果和桔子的图片，并对这些图片进行标注，标明哪些图片是苹果，哪些图片是桔子。这些标注即是监督信息。用这些图片训练一个对苹果和桔子的分类模型。将一幅没见过的苹果图片送入分类模型，模型分辨出这是一个苹果而不是一个桔子。
监督学习算法决策树算法决策树是一种树状预测模型，其本质是一棵由多个判断节点所组成的树决策树算法常用于解决分类和回归问题，常被应用于专家系统，用于解释回答人类专家才能回答的问题特点是结构简单、处理数据效率较高
监督学习算法朴素贝叶斯算法朴素贝叶斯算法是基于贝叶斯算法的改进，即假定特征条件为独立的分类方法常用于解决分类和回归问题特点是所需估计的参数很少，对缺失数据不太敏感
监督学习算法支持向量机算法支持向量机是是建立在统计学习理论基础上的机器学习方法应用于垃圾邮件识别，人脸识别等多种分类问题特点是将输入数据映射到一个高阶的向量空间，从而使得分类或者回归问题更容易地解决
监督学习算法K近邻算法K近邻算法，又称为KNN(K-NearestNeighbor)算法，一种重预测轻训练的算法用于分类、回归，处理多分类问题；在模