使用Ollama部署各种Ai大模型
安装Ollama
下载
我们来到Ollama官网:Ollama,点击Download。
然后选择你的系统对应的版本程序,我这里是用Windows电脑,所以选择Windows,然后点击Download for Windows,等待下载完成。
安装
由于Ollama默认安装在C盘,所以我想要指定安装路径。
来到下好的安装程序文件夹,在空白处右键选择在终端中打开。
在打开的终端中输入.\OllamaSetup.exe /DIR="E:\Program Files (x86)\Ollama"
,这里的路径你自己修改,然后回车。
回车后他就弹出Ollama的安装程序了,直接点击Install
进行安装,等待安装完成。
完成后我们Win+R
输入CMD
打开命令行窗口,输入ollama
回车,出现下边这样内容说明安装成功。
安装部署大模型Ai
我们来到Ollama的模型官网:Ollama Models,然后选择你想要部署的Ai大模型,我这里以deepseek-r1为例。
然后选择你要部署的参数,大小取决于电脑配置,选好后点击右侧的命令复制。
将命令粘贴到命令行中,回车执行,并等待下载完成,第一次安装成功后会自动运行模型,可以直接对话。
如需退出按Ctrl + d
退出。
运行
如需查看当前安装了那些模型可执行:ollama list
运行已安装的模型:ollama run deepseek-r1:1.5b
如需删除执行已安装的模型:ollama rm deepseek-r1:1.5b
对接API
你可以将本地运行的通过api接入到ai客户端中
我这里使用的是:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
进入官网点击免费下载(for Windows)
运行安装程序进行安装
打开后点击【设置】- 选择【模型提供方】: -选择【Ollama API】
然后 【API 域名】默认,模型会自动加载你本地拥有的,然后选择,然后点击【保存】。
然后回到对话页面,右下角选择模型,然后就可以对话了。
命令
- serve:启动 ollama 服务。
- create:根据一个 Modelfile 创建一个模型。
- show:显示某个模型的详细信息。
- run:运行一个模型。
- stop:停止一个正在运行的模型。
- pull:从一个模型仓库(registry)拉取一个模型。
- push:将一个模型推送到一个模型仓库。
- list:列出所有模型。
- ps:列出所有正在运行的模型。
- cp:复制一个模型。
- rm:删除一个模型。
- help:获取关于任何命令的帮助信息。
相关教程
暂无评论内容