1.2 Install Ollama

本小节主要主要使用安装Ollama模型管理

1.0 Ollama 进行安装

我们可以在 Ollama 的页面中找到所有可以下载的版本。本次的实践是基于现有MAC M3上进行的，这里我们可以下载MAC M3 的相关的安装文件。

若是觉得命令行的形式不够易用，Ollama 有一系列的周边工具可供使用，包含了网页、桌面、终端等交互界面及诸多插件和拓展。

之所以 Ollama 能快速形成如此丰富的生态，是因为它自立项之初就有清晰的定位：让更多人以最简单快速的方式在本地把大模型跑起来。于是，Ollama 不是简单地封装 llama.cpp，而是同时将繁多的参数与对应的模型打包放入；Ollama 因此约等于一个简洁的命令行工具和一个稳定的服务端 API。这为下游应用和拓展提供了极大便利。

直接进行文件安装配置

2.0 安装Ollama 的WebUI

就 Ollama GUI 而言，根据不同偏好，有许多选择。Ollama和LLM（大型语言模型）的关系，类似于docker和镜像，可以在ollama服务中管理和运行各种LLM，下面是ollama命令的参数，与docker管理镜像很类似，可以下载、删除、运行各种LLM。作为入门操作的笔记，本篇记录了部署和简单体验ollama的过程，并且通过docker部署了web-ui，尝试通过页面使用大模型。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always 
ghcr.io/open-webui/open-webui:main

1. d：以分离模式运行容器（后台运行）。

2. p 3000:8080：将主机的 3000 端口映射到容器的 8080 端口。

3. -add-host=host.docker.internal:host-gateway：将 host.docker.internal 添加到容器的 /etc/hosts 文件中，指向主机的网关。这通常用于在容器中访问主机服务。

4. v open-webui:/app/backend/data：将名为 open-webui 的 Docker 卷挂载到容器的 /app/backend/data 目录。这用于持久化数据。

5. -name open-webui：为容器指定一个名称 open-webui。

6. -restart always：设置容器的重启策略为“总是重启”，即使容器退出也会自动重启。

7. ghcr.io/open-webui/open-webui:main：指定要运行的镜像和标签，这里是 ghcr.io/open-webui/open-webui 的 main 标签。

检查运行状态

你可以使用以下命令来检查容器的运行状态：

docker ps -a

查看日志

如果容器没有按预期运行，可以查看容器日志以获取更多信息：

docker logs open-webui

停止和删除容器

如果你需要停止和删除容器，可以使用以下命令：

docker stop open-webui docker rm open-webui

3.0 Ollama 基础架构

创建完成之后的启动地址： http://localhost:3000/

参考：https://blog.inoki.cc/2024/04/16/Ollama-cn/