报告题目：
AI大模型技术在电力系统中的应用
及发展趋势
报告人：赵俊华
单位：香港中文大学（深圳）
时间：2025年6月10日
香港中文大学（深圳）
01大语言模型与智能体技术简介
人工智能A近代史：从早期的逻辑程序到神经网络的兴起
决策式AI 生成式AI
决策+认知 感知 +学习 执行+社会协作
小规模专家知识 浅层机器学习算法 深度机器学习算法 大规模预训练模型
1956年 1986年
历史上第一次人工智能 GeoffreyHinton等人提出了一种名为
2011年
IBM的Watson计算机在美国电视节目
2017年
Transformer架构提出，为
研讨会召开，标志着人 Backpropagation的神经网络训练算法 Jeopardy中战胜了两位前冠军 大模型发展打下基础工智能的诞生 被认为是神经网络技术的一次重大突破 2013年 2018年
1965年
1997年 习模型
国际蒙棋世界冠军Kasparov在与IBM开
GPT与BERT模型推出：开
启“大模型时代
Herbert Simon和Allen
发的DeepBlue计算机的比赛中失利，标 2014年 2022年
GAN可生成图像但分辨率有限Newel开发了一个名为 志着人工智能开始在一些传统的思维活 ChatGPT推出
GAN可生成图像但分辨率有限
LogicTheorist的程序，它
可以用逻辑推理的方式解决数学证明问题，这被认为是人工智能领域的一次
劫上超越人类
2006年
2015年 2024年
Google的AlphaGo程序在围棋比赛中战胜 Sora推出
重大突破 深度学习技术发明带来了革命性突破 了世界冠军季世石标志着人工智能开始
在更复杂的思维活动上超越人类
军期萌芽阶段 技术积淀阶段 快速发展阶段 爆发阶段
源（1950s-1980s） （1980s~2010年） （2011年~2016年） 2017年~）艾瑞2023年AI店C场量虚用展望研究报告
源
什么是语言模型
你好。
一个前缀输入 你也好。
你好。
V我50。**
人类 真实分布
你好。你也好。 建模
V我50。
给定相同前缀，语言模 语言模型 预测分布
型是输出能近似人类语
言分布的模型。
LLM架构与训练：预训练阶段 PreferenceUntrained Base tuned tuned
LLM LLM
Figure12-3.Thethreestepsofcreatingahigh-qualityLLM.
学习文字接龙（prefixLM），无需标注，自监督（self-supervised）“你好美丽。”
论文书籍 一个不完整的句子
论文
GPT
接一个可能的字
你好 美
你好 美
网络爬虫
私有知识库
你好美 丽
开源数据集
（数学、推
理) 你好美丽
LLM架构与训练：预训练阶段
预训练模型三要素 以及更多钱
，大数据，知识的来源，包含各种语言现象及语义知识，直接决定了模型的学习范围
·大模型，容纳大数据的载体，通常由深度神经网络构成，学习大数据中的统计信息与抽象知识
·大算力：处理大数据和大模型的并行计算集群，通常包含GPU、TPU等高性能运算设备
DeepTransformers
(12layers)
InputSeguene
大数据
大模型
大算力
（无标注文本）
（深度神经网络）
（并行计算集群）
如何训练自己的LLM？微调训练
Forwardpasswith Forwardpasswith
updatedmodel updatedmodel
Embeddingh直接全量参数微调问题 Embeddingh
Embeddingh
LLM参数量巨大，7b=70亿参数
etrained Weight
耗费GPU资源多，通常需要A100*8以上（百万RMB） weights update
训练时间长，需要数周时间 AW
Inputsx
Inputs.x
ModelMethod #Trainable E2ENLGChalle
BLEL NIST MET ROLGE-L CIDEr
解决方案：LoRA(Low-RankAdaptationofLargeLanguageModels)
核心优势
微调效果好，LoRA效果不差于全参数微调，优于其他微调方式GPT2MTAdax0.37M
微调效果好，LoRA效果不差于全参数微调，优于其他微调方式
GPT2MTAdax
0.37M
GPT2MT
H.09M
GPE2M(A
GPT2MF
GpT2M(PreLayer*
0.35M
GPT-2M(LORA)
0.35M
70.4
45.0
69.8
2.40
16.
46.1
2.44±
2.41
46.1