基本信息
文件名称:大白话人工智能大模型.202504.pptx
文件大小:1.63 MB
总页数:206 页
更新时间:2025-05-20
总字数:约1.83万字
文档摘要

.01大白话大模型Transformer架构-基于自注意力机制的神经网络结构

.02大白话大模型自注意力(Self-Attention)-序列内部元素关联计算

.03大白话大模型多头注意力(Multi-HeadAttention)-并行多组注意力机制

·04大白话大模型位置编码(PositionalEncoding)-注入序列位置信息

.05大白话大模型词嵌入(WordEmbedding)-词语的向量化表示

.06注意力机制(Attention)-动态权重分配技术

.07大白话大模型参数规模(ParameterScale)-模型可训练参数总量

·08大白话大模型预训练(Pre-training)-大规模无监督学习阶段

.09大白话大模型微调(Fine-tuning)-特定任务的有监督训练

.10大白话大模型零样本学习(Zero-shotLearning)-无示例直接推理

·11大白话大模型少样本学习(Few-shotLearning)-少量示例引导推理

.12大白话大模型提示工程(PromptEngineering)-设计优化输入提示

.13大白话大模型思维链(Chain-of-Thought)-分步推理提示技术

.14大白话大模型指令微调(InstructionTuning)-指令响应优化训练

·15大白话大模型人类反馈强化学习(RLHF)-基于人类偏好的优化

.16大白话大模型困惑度(Perplexity)-语言模型评估指标

.17大白话大模型生成式AI(GenerativeAI)-内容生成类模型

·18大白话大模型解码策略(DecodingStrategy)-文本生成采样方法

.19大白话大模型温度参数(Temperature)-控制生成随机性

.20大白话大模型Top-k采样-限制候选词范围的生成策略

.21大白话大模型Top-p采样(NucleusSampling)-基于概率累积的动态候选词选择

.22束搜索(BeamSearch)-保留多个候选序列的生成策略

·23灾难性遗忘(CatastrophicForgetting)-微调导致旧知识丢失

.24持续学习(ContinualLearning)-增量式学习新任务

.25模型蒸馏(ModelDistillation)-大模型压缩为小模型

·26稀疏化(Sparsification)-减少模型参数密度

.27量化(Quantization)-降低模型参数精度以减小体积

.28MoE(MixtureofExperts)-动态激活部分模型参数

.29模型并行(ModelParallelism)-分布式训练策略

·30数据并行(DataParallelism)-多GPU同步训练;

·31梯度检查点(GradientCheckpointing)-内存优化技术

.32FlashAttention-高效注意力计算优化

.33KV缓存(Key-ValueCache)-加速自回归生成

·34上下文窗口(ContextWindow)-模型处理的最大文本长度

.35长文本建模(Long-ContextModeling)-扩展上下文能力

.36RAG(Retrieval-AugmentedGeneration)-检索增强生成

.37对齐(Alignment)-模型行为与人类价值观匹配

·38红队测试(RedTeaming)-对抗性安全评估

.39多模态(Multimodal)-融合文本/图像/音频等输入

.40跨模态学习(Cross-ModalLearning)-多模态知识迁移

·41缩放定律(ScalingLaws)-模型性能与规模的关系规律

.42涌现能力(EmergentAbilities)-大模型表现出的突现特性

·43指令遵循(InstructionFollowing)-执行自然语言指令的能力

·44思维树(TreeofThought,ToT)-多路径推理框架

·45自洽性(Self-Consistency)-生成结果逻辑一致性

.46幻觉(Hallucination)-模型生成虚假或错误信息

.47事实性(Factuality)-生成内容的真实准确性

·48偏见缓解(BiasMitigation)-减少模型输出中的偏见