编辑
2024-08-01
momen炼丹日记
0

目录

OLLAMA 配置大模型
OLLAMA 官网:https://ollama.com/

OLLAMA 配置大模型

OLLAMA 官网:https://ollama.com/


WINDOWS 客户端。

0.下载

1.安装

2.使用系统管理员打开powershell,运行ollama run llama3 .我这里使用llama3.1-8B,适合笔记本使用。速度接近于chatgpt-3.5turbo.模型选择库:https://ollama.com/library/

3.运行成功后关闭ollama.使用系统管理员启动环境变量,sysdm.cpl。 加入如下内容。

image.png

4.重新开启ollama,并运行ollama run llama3,此时可以使用ip访问。(否则只能在本机使用localhost:11434访问)

5.解决跨域问题 https://lobehub.com/zh/docs/usage/providers/ollama#%E5%9C%A8-windows-%E4%B8%8B%E4%BD%BF%E7%94%A8-ollama

image.png

LINUX 省略安装 添加跨域 sudo systemctl edit ollama.service 输入

[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*"

保存时,文件名叫做/etc/systemd/system/ollama.service.d/override.conf 然后

sudo systemctl daemon-reload sudo systemctl restart ollama

本文作者:墨洺的文档

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!