1.5 Quickly Build Applications with Dify and Ollama

本小节主要介绍使用的Dify 快速搭建AI 驱动的应用

打开Dify 配置选项下的，添加模型，添加Ollama 模型配置界面

这里有很关键一点，就是Ollama的URL 的配置地址的，因为我们的Dify是通过容器配置启动的，所以需要Ollama 穿透访问。

• 模型名称：llava

• 基础 URL：http://<your-ollama-endpoint-domain>:11434

  此处需填写可访问到的 Ollama 服务地址。

  若 Dify 为 docker 部署，建议填写局域网 IP 地址，如：http://192.168.1.100:11434 或 docker 宿主机 IP 地址，如：http://172.17.0.1:11434。

  若为本地源码部署，可填写 http://localhost:11434。

• 模型类型：对话

• 模型上下文长度：4096

  模型的最大上下文长度，若不清楚可填写默认值 4096。

• 最大 token 上限：4096

  模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致。

• 是否支持 Vision：是

  当模型支持图片理解（多模态）勾选此项，如 llava。

点击 "保存" 校验无误后即可在应用中使用该模型。

Embedding 模型接入方式与 LLM 类似，只需将模型类型改为 Text Embedding 即可。

在Mac上设置环境变量，这样的可以使Ollama 穿透访问

如果 Ollama 作为 macOS 应用程序运行，则应使用以下命令设置环境变量launchctl：

1. 通过调用launchctl setenv设置环境变量：

   复制

   launchctl setenv OLLAMA_HOST "0.0.0.0"

如果你使用的是 Bash 或 Zsh shell，你可以将环境变量添加到 ~/.bash_profile（对于 Bash 用户）或 ~/.zshrc（对于 Zsh 用户）文件中。这些文件在每次打开新的终端会话时都会被读取。

对于 Bash 用户

1. 打开或创建 ~/.bash_profile 文件：

   nano ~/.bash_profile
   

2. 添加以下行来设置环境变量：

   export OLLAMA_HOST="0.0.0.0"
   

3. 保存文件并退出，然后运行以下命令使更改生效：

source ~/.bash_profile

配置先关的大模型llama 3.1 之后的应用创建完成，可以直接发布，接下来就可以直接使用。