使用Ollama部署各种Ai大模型

使用Ollama部署各种Ai大模型

_

安装 Ollama

下载

打开 Ollama 官网 ollama.com,点击 Download 按钮。

选择与系统对应的版本。这里用的是 Windows 电脑,因此选择 Windows 选项,再点击 Download for Windows 按钮,等待下载完成。

安装

Ollama 默认安装到 C 盘,这里需要自定义安装路径。

打开下载好的安装程序所在文件夹,在空白处右键选择「在终端中打开」。

在打开的终端中执行下面的命令并回车,安装路径按需修改:​.\OllamaSetup.exe /DIR="E:\Program Files (x86)\Ollama"​

回车后会弹出 Ollama 的安装程序,直接点击 Install 按钮,等待安装完成。

安装完成后,按 ​Win+R​ 输入 ​CMD​ 打开命令行窗口,输入 ​ollama​ 并回车,出现下图内容即表示安装成功。

部署大模型

打开 Ollama 模型库 Ollama Models,选择要部署的大模型。这里以 deepseek-r1 为例。

选择要部署的参数规模,大小取决于电脑配置;选好后点击右侧图标复制部署命令。

将命令粘贴到命令行中并回车,等待下载完成。首次下载成功后会自动运行模型,可以直接对话。

按 ​Ctrl + d​ 退出对话。

管理已安装的模型

查看当前安装了哪些模型:​ollama list​

运行已安装的模型:​ollama run deepseek-r1:1.5b​

删除已安装的模型:​ollama rm deepseek-r1:1.5b​

对接 API

本地运行的模型可以通过 API 接入 AI 客户端。

这里使用的是 Chatbox AI。

进入官网,点击 免费下载 (for Windows) 按钮。

运行安装程序完成安装。

打开后点击 设置,在 模型提供方 中选择 Ollama API。

API 域名 保持默认,模型 下拉框会自动列出本地已有的模型,选择后点击 保存。

回到对话页面,在右下角选择模型即可开始对话。

命令一览

  • ​serve​:启动 Ollama 服务

  • ​create​:根据 Modelfile 创建一个模型

  • ​show​:显示某个模型的详细信息

  • ​run​:运行一个模型

  • ​stop​:停止一个正在运行的模型

  • ​pull​:从模型仓库(registry)拉取模型

  • ​push​:将模型推送到模型仓库

  • ​list​:列出所有模型

  • ​ps​:列出所有正在运行的模型

  • ​cp​:复制一个模型

  • ​rm​:删除一个模型

  • ​help​:获取任何命令的帮助信息

相关教程

菜鸟教程:Ollama 教程

Bitwarden密码库搭建 2025-01-18
FRP内网穿透搭建 2025-02-09

评论区