使用Ollama部署各种Ai大模型

使用Ollama部署各种Ai大模型

安装Ollama

下载

我们来到Ollama官网:Ollama,点击Download

image

然后选择你的系统对应的版本程序,我这里是用Windows电脑,所以选择Windows,然后点击Download for Windows,等待下载完成。

image

安装

由于Ollama默认安装在C盘,所以我想要指定安装路径。

来到下好的安装程序文件夹,在空白处右键选择在终端中打开

image

在打开的终端中输入.\OllamaSetup.exe /DIR="E:\Program Files (x86)\Ollama"​,这里的路径你自己修改,然后回车。

image

回车后他就弹出Ollama的安装程序了,直接点击Install​进行安装,等待安装完成。

image

完成后我们Win+R​输入CMD​打开命令行窗口,输入ollama​回车,出现下边这样内容说明安装成功。image

安装部署大模型Ai

我们来到Ollama的模型官网:Ollama Models,然后选择你想要部署的Ai大模型,我这里以deepseek-r1为例。

image

然后选择你要部署的参数,大小取决于电脑配置,选好后点击右侧的命令复制。

image

将命令粘贴到命令行中,回车执行,并等待下载完成,第一次安装成功后会自动运行模型,可以直接对话。

image

如需退出按Ctrl + d​退出。

运行

如需查看当前安装了那些模型可执行:ollama list

image

运行已安装的模型:ollama run deepseek-r1:1.5b

image

如需删除执行已安装的模型:ollama rm deepseek-r1:1.5b

对接API

你可以将本地运行的通过api接入到ai客户端中

我这里使用的是:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

进入官网点击免费下载(for Windows)

image

运行安装程序进行安装

image

打开后点击【设置】- 选择【模型提供方】: -选择【Ollama API】

image

然后 【API 域名】默认,模型会自动加载你本地拥有的,然后选择,然后点击【保存】。

image

然后回到对话页面,右下角选择模型,然后就可以对话了。

image

命令

  • serve:启动 ollama 服务。
  • create:根据一个 Modelfile 创建一个模型。
  • show:显示某个模型的详细信息。
  • run:运行一个模型。
  • stop:停止一个正在运行的模型。
  • pull:从一个模型仓库(registry)拉取一个模型。
  • push:将一个模型推送到一个模型仓库。
  • list:列出所有模型。
  • ps:列出所有正在运行的模型。
  • cp:复制一个模型。
  • rm:删除一个模型。
  • help:获取关于任何命令的帮助信息。

相关教程

Ollama 教程 | 菜鸟教程

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容