前几天在抡锤者论坛上找到这篇文章【RTX 2060 Super 8G 部署 Qwen3.6-35B-A3B 极限参数定稿报告】,看到作者这边可以运行心就痒痒了,然后找deepseek讨论了一下说是可以运行,然后又推荐了【【RTX4060】【8G显存】运行Qwen3.6 35B A3B APEX-MTP包含两种方式及测试结果】这篇文章,果断让ai自行安装,嘻嘻完美运行效果还不错。
Qwen3.6-35B-A3B本地部署
站点水印:www.onemuggle.com
电脑配置(笔记本)
- AMD Ryzen 7 5800H
- 32G 内存 DDR4
- 3070显卡8G
- Windows 11
- 全程国内网络(无需科学上网)
- 可以发上面的两个文章链接给ai,然后把电脑配置告诉ai,让ai进行评估再决定是否要部署
使用AI部署
- 使用的是Codex搭配deepseek-v4-flash来实现的,推理使用的轻度
- 提示词用的下面的,建议先问ai根据文章配置自己电脑能否进行复刻
- 这个是越狱版模型:Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-MINI
可以效仿这个帖子来部署:[https://lcz.me/topic/213/rtx4060-8g%E6%98%BE%E5%AD%98-%E8%BF%90%E8%A1%8Cqwen3.6-35b-a3b-apex-mtp%E5%8C%85%E5%90%AB%E4%B8%A4%E7%A7%8D%E6%96%B9%E5%BC%8F%E5%8F%8A%E6%B5%8B%E8%AF%95%E7%BB%93%E6%9E%9C/](https://lcz.me/topic/213/rtx4060-8g%E6%98%BE%E5%AD%98-%E8%BF%90%E8%A1%8Cqwen3.6-35b-a3b-apex-mtp%E5%8C%85%E5%90%AB%E4%B8%A4%E7%A7%8D%E6%96%B9%E5%BC%8F%E5%8F%8A%E6%B5%8B%E8%AF%95%E7%BB%93%E6%9E%9C/)
通过 $env:HF\_ENDPOINT = "[https://hf-mirror.com](https://hf-mirror.com)" 下载这个两个模型到mode文件夹内
下载:Qwen3.6-35B-A3B-APEX-MTP-I-Mini.gguf(mudler/Qwen3.6-35B-A3B-APEX-MTP-GGUF)
下载:Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-MINI.gguf (SC117/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-MINI.gguf )
我需要可以双击运行的那种,然后选择运行的大模型!然后再进行运行!测试结果
- 跑代码时在30-40t/s,跑对话在20-30t/s
鹈鹕骑车
- 提示词都是一致的:
创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画 - 本地模型 + deepseek harness 效果,pelican-bicycle.html
- 本地模型效果,qwen36.html
- 越狱版效果,qwen36-po.html
越狱版效果
- 越狱版接deepseek harness 或者 codex 都会自己调用搜索功能!!!千万别碰敏感东西
- 未破解的:
- 破解版的第一次回复像是擦边文,第二次就好了:
OneMuggle