OneMuggle 去年就开始使用Ollama来跑本地大模型，结果就是非常拉跨，这次测设DeepSeek-r1的7b、8b、14b、32b蒸馏模型，只是感觉32b的回答能力开还行，14b的是非常流畅的，无论是Windows 还是MacOS 都是不错的。本来是打算通过本地知识库进行查询的，前几天尝试过使用AnythingLLM搭建，怎么说呢体验不太好，运行非常卡，一直在加载知识库。最后成功了一次，回答的是知识库里面相关的，之后就G了，一直闲置到现在。
等过一段时间在研究Dify搭建本地知识库，目前再刷CS50的视频，感觉老师讲的确实有意思，没有昏昏欲睡的感觉，反正是有所收获，晚上睡觉前看俩小时，11点半左右躺床上也是能睡着的。但还是夜夜做梦，无解啊 
本地跑大模型
站点水印：www.onemuggle.com
测试设备配置
Windows 11 系统
- CPU AMD R7 5800H
- 内存 32 GB
- 显卡 移动版 RTX 3070 8G
- 大模型推荐(32G内存：32b及一下的，16G内存：14b及一下的)
MacOS 系统
- CPU M4
- 内存 16 GB
- 大模型推荐(14b及一下的)
详细步骤
下载大模型需要使用科学上网，并且设置代理为全局
- 点击访问 Ollama 官网下载对于的版本
https://ollama.com/download - 安装好后 Ollama ，后台有显示在运行即可
- 点击访问 Ollama 官网下载所需的大模型。以 deepseek-r1:8b 为例，复制右侧代码
ollama run deepseek-r1:8b - 开始下载大模型，Windows 通过 cmd 命令(win键 + R键，输入cmd ) 即可打开终端窗口，粘贴复制的代码并回车运行。MacOS 打开终端，粘贴复制的代码并回车运行。(下载大模型需要使用使用科学上网，并且设置代理为全局)
- 大模型下载完成后 会出现
Send a message，即可开始问题 - 在谷歌浏览器应用商店中搜索
Page Assist - 本地 AI 模型的 Web UI并安装即可使用Web UI
开启远程访问
- 打开 MacOS 的终端，输入下面代码
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"- 执行代码后，重启 Ollama 即可生效
- 在同一局域网下，打开浏览器的的
Page Assist - 本地 AI 模型的 Web UI - 点击 右上方齿轮
设置 - 点击 左侧
Ollama设置 - 把
Ollama URL替换成 Mac主机的ip地址+11434
例如：把原来的http://127.0.0.1:11434替换成http://192.168.123.116:11434
关闭远程访问
- 打开 MacOS 的终端，输入下面代码
launchctl unsetenv OLLAMA_HOST
launchctl unsetenv OLLAMA_ORIGINS测试结果
以下测试结果仅适用于此次测试的两台设备，无法代表所有设备的表现，欢迎大家自行测试哈！
测试问题(使用弱智吧经典语录)
- 如何理解这句话：百草枯到底有没有解药，或许它本身就是一种解药。
- 如何理解这句话：为什么要感到难过？难道你的人生还不够可笑吗？
- 如何理解这句话：回忆这个词是不是迷宫的近义词啊？要不然我怎么走不出去？
- 如何理解这句话：我租下了整个世界，直到我将死去的那天
- 如何理解这句话：苦难是生命的防沉迷系统，你是在拜佛还是在拜自己的欲望？
- 如何理解这句话：这台手术很成功，我失败的人生结束了。
- 如何理解这句话：如果我觉得自己是自由的。那么是否自由也束缚了我。想不开的人到底是想不开还是想开了？
Windows
14b大模型只能供1人使用
8b大模型可供2-3人同时使用
32b大模型
MacOS
7b大模型可供2人同时使用
14b大模型只能供1人使用