基本信息
文件名称:AI新技术资料-0212_deepseek本地部署.pdf
文件大小:2.22 MB
总页数:14 页
更新时间:2025-03-15
总字数:约6.21千字
文档摘要

DeepSeek本地部署

先下载ollama

Ollama是一个可以在本地运行大语言模型(LLMs)的命令行工具

它专注于简化大型语言模型的本地化使用,特别适合开发者和研究人员在个人设备上运行和测试各种开

源模型

ollama官网

下载界面

下载慢怎么解决?

直接下载速度会非常慢,我个人用迅雷下载,非常快

Ollama默认安装在c盘,它需要占用多少G的空间?

类别描述

1.基础安装空间

类别描述

Ollama的核心程

通常不会占用太多空间,大约在100MB~500MB之间。

这部分包括可执行文件、依赖库和基础配置文件。

2.模型文件占用

小型模型大小:几百MB~2GB。

例如:用于文本生成的小型语言模型。

中型模型大小:2GB~10GB。

例如:用于对话生成或文本分类的中等规模模型。

大型模型大小:10GB~100GB+。

例如:用于多模态任务或高性能生成任务的大型模型。

3.缓存和临时文件

Ollama在运行过程中可能会生成缓存和临时文件,这些文件也会占用一定的磁盘空

缓存和临时文件

间。

缓存大小取决于使用频率和任务复杂度,通常为几百MB~几GB。

4.总空间占用

最小占用如果你只安装核心程序和小型模型,总占用可能在1GB~3GB左右。

典型占用如果你安装中型模型,总占用可能在5GB~15GB左右。

最大占用如果你安装大型模型或多个模型,总占用可能超过100GB。

Ollama的默认安装空间占用取决于模型大小:

基础程序:100MB~500MB。

模型文件:几百MB~100GB+。

总占用:通常在1GB~15GB之间,但如果使用大型模型,可能会超过100GB。

Ollama安装路径与环境变量配置

目前的Ollama会默认安装到C盘

路径如下:C:\Users%username%\AppData\Local\Programs\Ollama,并不会让用户自定义选择安装路径

Ollama的默认模型存储路径

路径如下:C:\Users\blaze.ollama\models

models模型的存储路径可以通过环境变量修改

在powershell中(需要以管理员身份运行)为系统环境变量添加名为OLLAMA_MODELS的环境变量,

提前分配好其安装位置

新建一个系统变量OLLAMA_MODELS,然后设置ollama模型的存储路径

切记!重启ollama,然后执行安装deepseek

我的ollama安装目录、体积

查看ollama是否安装成功?

在cmd终端输入ollama,如下图所示,就是安装成功了

Ollama官网搜索deepseek

查看电脑内存、显卡型号、显存

在cmd终端中输入:dxdiag

即可打开DirectX诊断工具,查看具体参数型号

deepseek本地部署硬件要求?

属性模型类型最小GPU配置CPU配置内存要求磁盘空间

R1-Zero全量版R1-Zero全量版RTX4090(24GB)Xeon8核+128GB128GB500GB

R1蒸馏版-70BR1蒸馏版-70BRTX3090(24GB)i9-13900K+64GB64GB320GB

R1蒸馏版-14BR1蒸馏版-14BRTX3060(12GB)锐龙Ryzen7+32GB32GB80GB

R1蒸馏版-1.5BR1蒸馏版-1.5B无需GPU任意四核处理器+8GB8GB12GB

直播间观众反馈-本地部署硬件要求

cpui370