前几天在抡锤者论坛上找到这篇文章【RTX 2060 Super 8G 部署 Qwen3.6-35B-A3B 极限参数定稿报告】,看到作者这边可以运行心就痒痒了,然后找deepseek讨论了一下说是可以运行,然后又推荐了【【RTX4060】【8G显存】运行Qwen3.6 35B A3B APEX-MTP包含两种方式及测试结果】这篇文章,果断让ai自行安装,嘻嘻完美运行效果还不错。

Qwen3.6-35B-A3B本地部署

站点水印:www.onemuggle.com

电脑配置(笔记本)

  • AMD Ryzen 7 5800H
  • 32G 内存 DDR4
  • 3070显卡8G
  • Windows 11
  • 全程国内网络(无需科学上网)
  • 可以发上面的两个文章链接给ai,然后把电脑配置告诉ai,让ai进行评估再决定是否要部署

使用AI部署

  • 使用的是Codex搭配deepseek-v4-flash来实现的,推理使用的轻度
  • 提示词用的下面的,建议先问ai根据文章配置自己电脑能否进行复刻
  • 这个是越狱版模型:Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-MINI
可以效仿这个帖子来部署:[https://lcz.me/topic/213/rtx4060-8g%E6%98%BE%E5%AD%98-%E8%BF%90%E8%A1%8Cqwen3.6-35b-a3b-apex-mtp%E5%8C%85%E5%90%AB%E4%B8%A4%E7%A7%8D%E6%96%B9%E5%BC%8F%E5%8F%8A%E6%B5%8B%E8%AF%95%E7%BB%93%E6%9E%9C/](https://lcz.me/topic/213/rtx4060-8g%E6%98%BE%E5%AD%98-%E8%BF%90%E8%A1%8Cqwen3.6-35b-a3b-apex-mtp%E5%8C%85%E5%90%AB%E4%B8%A4%E7%A7%8D%E6%96%B9%E5%BC%8F%E5%8F%8A%E6%B5%8B%E8%AF%95%E7%BB%93%E6%9E%9C/)

通过 $env:HF\_ENDPOINT = "[https://hf-mirror.com](https://hf-mirror.com)" 下载这个两个模型到mode文件夹内
下载:Qwen3.6-35B-A3B-APEX-MTP-I-Mini.gguf(mudler/Qwen3.6-35B-A3B-APEX-MTP-GGUF)
下载:Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-MINI.gguf (SC117/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-MINI.gguf  )

我需要可以双击运行的那种,然后选择运行的大模型!然后再进行运行!

测试结果

  • 跑代码时在30-40t/s,跑对话在20-30t/s

鹈鹕骑车

  • 提示词都是一致的:创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画
  • 本地模型 + deepseek harness 效果,pelican-bicycle.html 2026-08-30_08-35-08.png2026-08-30_08-36-04.png
  • 本地模型效果,qwen36.html 2026-08-30_08-43-58.png 2026-08-30_08-44-51.png
  • 越狱版效果,qwen36-po.html 2026-08-30_08-50-38.png 2026-08-30_08-50-53.png

越狱版效果

  • 越狱版接deepseek harness 或者 codex 都会自己调用搜索功能!!!千万别碰敏感东西
  • 未破解的: 2026-08-30_08-46-13.png
  • 破解版的第一次回复像是擦边文,第二次就好了:2026-08-30_08-56-15.png 2026-08-30_08-58-40.png

参考链接

END
本文作者: 文章标题:8G显卡也能跑!Qwen3.6-35B-A3B本地部署实测:流畅运行达20-43 tok/s
本文地址:https://www.onemuggle.com/archives/2325.html
版权说明:若无注明,本文皆OneMuggle原创,转载请保留文章出处。
如果觉得我的文章对你有用, 请我喝杯咖啡吧 ☕