.01大白话大模型Transformer架构-基于自注意力机制的神经网络结构
.02大白话大模型自注意力(Self-Attention)-序列内部元素关联计算
.03大白话大模型多头注意力(Multi-HeadAttention)-并行多组注意力机制
·04大白话大模型位置编码(PositionalEncoding)-注入序列位置信息
.05大白话大模型词嵌入(WordEmbedding)-词语的向量化表示
.06注意力机制(Attention)-动态权重分配技术
.07大白话大模型参数规模(ParameterScale)-模型可训练参数总量
·08大白话大模型预训练(Pre-training)-大规模无监督学习阶段
.09大白话大模型微调(Fine-tuning)-特定任务的有监督训练
.10大白话大模型零样本学习(Zero-shotLearning)-无示例直接推理
·11大白话大模型少样本学习(Few-shotLearning)-少量示例引导推理
.12大白话大模型提示工程(PromptEngineering)-设计优化输入提示
.13大白话大模型思维链(Chain-of-Thought)-分步推理提示技术
.14大白话大模型指令微调(InstructionTuning)-指令响应优化训练
·15大白话大模型人类反馈强化学习(RLHF)-基于人类偏好的优化
.16大白话大模型困惑度(Perplexity)-语言模型评估指标
.17大白话大模型生成式AI(GenerativeAI)-内容生成类模型
·18大白话大模型解码策略(DecodingStrategy)-文本生成采样方法
.19大白话大模型温度参数(Temperature)-控制生成随机性
.20大白话大模型Top-k采样-限制候选词范围的生成策略
.21大白话大模型Top-p采样(NucleusSampling)-基于概率累积的动态候选词选择
.22束搜索(BeamSearch)-保留多个候选序列的生成策略
·23灾难性遗忘(CatastrophicForgetting)-微调导致旧知识丢失
.24持续学习(ContinualLearning)-增量式学习新任务
.25模型蒸馏(ModelDistillation)-大模型压缩为小模型
·26稀疏化(Sparsification)-减少模型参数密度
.27量化(Quantization)-降低模型参数精度以减小体积
.28MoE(MixtureofExperts)-动态激活部分模型参数
.29模型并行(ModelParallelism)-分布式训练策略
·30数据并行(DataParallelism)-多GPU同步训练;
·31梯度检查点(GradientCheckpointing)-内存优化技术
.32FlashAttention-高效注意力计算优化
.33KV缓存(Key-ValueCache)-加速自回归生成
·34上下文窗口(ContextWindow)-模型处理的最大文本长度
.35长文本建模(Long-ContextModeling)-扩展上下文能力
.36RAG(Retrieval-AugmentedGeneration)-检索增强生成
.37对齐(Alignment)-模型行为与人类价值观匹配
·38红队测试(RedTeaming)-对抗性安全评估
.39多模态(Multimodal)-融合文本/图像/音频等输入
.40跨模态学习(Cross-ModalLearning)-多模态知识迁移
·41缩放定律(ScalingLaws)-模型性能与规模的关系规律
.42涌现能力(EmergentAbilities)-大模型表现出的突现特性
·43指令遵循(InstructionFollowing)-执行自然语言指令的能力
·44思维树(TreeofThought,ToT)-多路径推理框架
·45自洽性(Self-Consistency)-生成结果逻辑一致性
.46幻觉(Hallucination)-模型生成虚假或错误信息
.47事实性(Factuality)-生成内容的真实准确性
·48偏见缓解(BiasMitigation)-减少模型输出中的偏见