1.5 Quickly Build Applications with Dify and Ollama
本小节主要介绍使用的Dify 快速搭建AI 驱动的应用
打开Dify 配置选项下的,添加模型,添加Ollama 模型配置界面

这里有很关键一点,就是Ollama的URL 的配置地址的,因为我们的Dify是通过容器配置启动的,所以需要Ollama 穿透访问。

模型名称:
llava基础 URL:
http://<your-ollama-endpoint-domain>:11434此处需填写可访问到的 Ollama 服务地址。
若 Dify 为 docker 部署,建议填写局域网 IP 地址,如:
http://192.168.1.100:11434或 docker 宿主机 IP 地址,如:http://172.17.0.1:11434。若为本地源码部署,可填写
http://localhost:11434。模型类型:
对话模型上下文长度:
4096模型的最大上下文长度,若不清楚可填写默认值 4096。
最大 token 上限:
4096模型返回内容的最大 token 数量,若模型无特别说明,则可与模型上下文长度保持一致。
是否支持 Vision:
是当模型支持图片理解(多模态)勾选此项,如
llava。
点击 "保存" 校验无误后即可在应用中使用该模型。
Embedding 模型接入方式与 LLM 类似,只需将模型类型改为 Text Embedding 即可。
在Mac上设置环境变量,这样的可以使Ollama 穿透访问
如果 Ollama 作为 macOS 应用程序运行,则应使用以下命令设置环境变量launchctl:
通过调用
launchctl setenv设置环境变量:复制
如果你使用的是 Bash 或 Zsh shell,你可以将环境变量添加到 ~/.bash_profile(对于 Bash 用户)或 ~/.zshrc(对于 Zsh 用户)文件中。这些文件在每次打开新的终端会话时都会被读取。
对于 Bash 用户
打开或创建
~/.bash_profile文件:添加以下行来设置环境变量:
保存文件并退出,然后运行以下命令使更改生效:

配置先关的大模型llama 3.1 之后的应用创建完成,可以直接发布,接下来就可以直接使用。

Last updated