浙江交通职业技术学院理论与实践相结合，探索AI的无限可能适用于AI通识课程，不限专业

第一讲内容回顾生成式人工智能基础与应用|第二讲生成式人工智能简介能自动生成文本、图片、音频、视频等内容代表产品：ChatGPT、Sora、文心一言等2022年被誉为大模型元年智能的度量与发展图灵测试：判断机器模拟人类智能的能力DIKW金字塔：数据→信息→知识→智慧NLP发展五大范式：从规则到深度学习再到大模型自然语言处理发展历程NLP研究范式经历了五个阶段：规则范式统计范式向量范式神经网络范式预训练范式生成式AI与决策式AI的区别决策式AI：擅长分类、推荐、预测生成式AI：擅长内容创作、创新表达两种AI模型各有优势，互为补充图灵测试与人工智能图灵测试：通过对话判断对方是人类还是机器的方法，是衡量机器智能的经典标准现代大模型已能在多种场景下通过图灵测试，展现出接近人类的语言能力实验回顾上节课我们通过实验体验了：1分辨人类与AI创作内容2体验AIGC的创作能力3探索AI的能力边界4分析AI的局限性第2页/共34页

本讲学习目标生成式人工智能基础与应用|第二讲理论与实践相结合，探索生成式AI的无限可能1理论基础2技术原理3实验实践4能力应用理解预训练大模型基本概念掌握预训练大模型的定义与特点了解大模型的时代意义与应用前景认识主流大模型家族（BERT、GPT等）掌握Transformer架构原理理解自注意力机制的工作原理区分编码器与解码器的结构与功能认识预训练与微调的技术范式参与实践任务体验体验AI写作与评审能力（实验一、二）对比评估不同大模型的能力（实验三）探索大模型的交互方式（实验四）培养创新应用能力学会使用大模型解决实际问题思考大模型在各专业领域的应用认识大模型的局限性与未来发展第3页/共34页

预训练大模型的时代意义生成式人工智能基础与应用|第二讲AI的超级大脑核心技术路径预训练微调应用预训练大模型如GPT、BERT已成为AI领域的核心引擎，具备前所未有的语言理解与生成能力通过海量数据训练，模型能够学习语言规律、知识关联和推理能力从亿级参数到千亿参数的飞跃，使模型具备了接近人类的语言表达能力Transformer：革命性架构2017年提出的Transformer架构成为大模型的基石，彻底改变了NLP领域自注意力机制（Self-Attention）：能够捕捉文本中长距离依赖关系编码器-解码器结构：使模型同时具备理解和生成能力Attentionisallyouneed.—Google,2017自然语言处理的革命机器翻译精度大幅提升问答系统更加智能化文本生成更加连贯自然多语言处理能力显著增强情感分析更加精准文本摘要自动化程度高各行业变革医疗健康辅助诊断、医学文献分析教育培训个性化学习、智能导师法律服务法规检索、合同审查金融分析风险评估、市场预测零售营销个性化推荐、客服机器人创意内容文案创作、内容生成预训练大模型正在重塑各行各业的工作方式与效率第4页/共34页

预训练大模型基础概念生成式人工智能基础与应用|第二讲定义与特点预训练大模型是在海量数据上进行自监督学习的大规模神经网络模型，通常具有数十亿到数千亿参数。基于Transformer架构具备强大的语言理解与生成能力可通过微调适应多种下游任务发展历程2017年Transformer架构提出，奠定大模型基础2018年BERT、GPT等预训练模型出现2020年GPT-3展示惊人的语言能力2022年大模型元年，ChatGPT等产品问世参数规模预训练大模型的参数量呈指数级增长：BERT3.4亿GPT-31750亿Llama34000亿基本工作原理大模型将文本生成转换为文本接龙问题：根据已有文本预测下一个最可能的词或字符。预训练过程在海量文本数据上学习语言规律通过自监督学习掌握语义关系学习词语、句子的概率分布微调机制针对特定任务进行专项训练引入人类反馈提升输出质量调整模型适应不同领域需求核心组成部分Token化将文本分解为基本单元（词、子词或字符），便于模型处理自注意力机制捕捉序列中各元素间的长距离依赖关系，理解上下文多层结构通过多层Transformer块逐步提取和处理特征，形成深度表示第5页/共34页

Transformer架构：革命性的突破生成式人工智能基础与应用|第二讲革命性突破Transformer模型于2017年由Google提出，彻底改变了自然语言处理领域。它摒弃了传统的RNN和CNN结构，完全基于注意力机制，使得模型能够并行处理序列数据，捕捉长距离依赖关系。核心创新点自注意力机制（Self-Attention）允许模型同时关注序列中的不同位置，计算表示时考虑整个序列的上下文多头注意力（Multi-HeadAttention）允许模型同