我接触 AI 的各种工具其实相对来说是有一些晚的。我周边的人陆陆续续都已经进入了 AI 相伴的模式而我一直在古老的工作模式之下坚守。当我尝试看了一些别人写的教程之后简单的进行了实践发现这东西的确确是能够在很多方面提高我们的生产力或者是提高我们的产出质量。于是又开始开各个平台的 API 账号充值尝试各种工具。时间久了有时候觉得其实我需要的只不过是一个简单的多模态加上一个 DeepSeek V4 Flash 做做辅助就可以了。然而试用了一些多模态的 API 之后发现这东西还是挺贵的。看着自己充值的账户里面的余额疯狂的减少有时候的确确有那么几分焦虑感。毕竟大部分的 token 充值不像 DeepSeek V4 Flash 那么耐用。这就让我多少有点想考虑尝试一下本地大模型了。在买电脑之前我其实在几个平台上试了很多不算是很大的模型。尝试这些模型其实是为了能够选择一台相对合适的电脑。后来我给我自己选定了一个目标大模型是千问的 35B-A3B。而跑这个大模型也可以尝试一些量化版本哪怕达不到满血版本的那种效果能够达到它的七八十分我倒觉得也是可以的。这样我就可以本地处理一波搞不定的再换云端这样 Token 的费用应该也可以减少下来。而我自己这方面的用量的确是比较高。各种对比之下选了一个 RTX 5080 Laptop 的显卡16G 的显存可以尝试前面我说的这种模型。我也看过很多其他的设备但是目前来看价格好像都高的有些离谱。我自己选的一个折中方案是先选一个这样的笔记本用一用。如果是不合适的话至少也可以给自己升级一个可以用的笔记本至少不会有什么大的投入损失。尝试进行这个大模型部署的时候我先从阿里千问网页端咨询了一下让它给我出一个保姆级的教程按照它的教程来进行大模型的部署。目标就是千问 3.6-35B- A3B。这个其实也比较有趣。我去让它给我出这个教程的时候目前网页版本的千问大模型给我的答复是其实千问并没有发布这样的模型发布的是 3.5并不是 3.6。这就看得出来有很多大模型它训练的材料以及信息搜集进化的能力还是有一定的限制的。因为 3.6 的版本从网络上随便一搜索就能够看得到也能找得到它发布的信息。我之所以去让千问给我出这样的保姆级教程是因为我觉得它们是同一个体系的肯定对自己来说是知根知底的。但是按照它的教程我还是稍微栽了点坑。当天晚上 8 点多钟开始整到了 12 点之后才跑起来。前面反反复复的折腾始终没有让 GPU 工作起来。关于前面说的这个灾坑也是我在尝试本地大模型部署的时候遇到的最折腾的一点。然而这一部分让千问做检查的时候它始终检查不出来相应的原因是什么。最后这个问题还是 DeepSeek 帮我分析出来的。我把相应的记录信息直接一股脑的扔给了 DeepSeek让它帮我解决。结果它分析出来了可能是我少下载了一部分动态链接库的文件需要把那个动态链接库的压缩包下载下来然后解压到相同的目录。处理之后终于是搞定了。具体的内容的话就是下面这两个压缩包。这两个压缩包应该是把里面的内容全都解压出来放在一起才能够配合起来一起工作。尝试了 35B-A3B 这样的模型之后我又尝试了 27B 的量化版本。因为很多评测说 27B 在各方面的表现上可能比 35B-A3B 这个模型表现还要稳定一些。也有些评测说它的能力其实比这个 MoE 的模型更好一些。关于这个模型我首先是尝试了 Q3 的量化版本因为这一个版本基本上是能够一股脑全都压到 GPU 里面去。另外也尝试了三值量化版本但是不知道什么原因这个三值量化版本始终在吃内存和 CPU 的资源。纵然显卡也加载了一部分信息始终没有充分利用起来。三值版本在我的电脑上做各种测试的时候慢到了不能忍受每秒钟也就一两个 token。然而前面的 35B-A3B 以及 27B 的模型使用的时候流畅度基本上是还是可以接受的。前者每秒的 token 基本上是稳定在 40 左右后者能够稳定在 30 左右。但是在使用的时候有一个极为明显的体验就是使用 27B DENSE 模型的时候能够感觉出来 GPU 功耗更高风扇呼呼的转噪音非常大。我在使用的时候旁边的妻子在问我“咦这是有下雨的声音吗”相比之下35B-A3B 纵然不能说是安静但是声音要小得多。补充一下我昨天晚上做这些测试时写的一点小体会如下我看到有人说相比于 A3B 的模型其实千问的 27B 稠密模型才是本地部署的 AI 模型的王炸。它对于硬件的要求说不上太高但是从推理的稳定性以及推理的能力各方面都是比较强的。然而我手中的显卡装不下它的满血版模型只能装一个 IQ3 的量化版本。安装之后32K 上下文感觉跑起来还是很稳的每秒的 token 在 30 左右。我继续尝试重复前面的问题让他做 DeepSeek 一次就成A3B 两次差不多但是稍微欠点火候的问题。结果尝试了四轮才把最后的问题给解决掉但是每一次给他信息反馈之后他能够综合之前的信息进行迭代解决。但是它的推理尤其是 Think 的阶段常常会出现大片的英文或者是中文转英文。几轮迭代之后出来的软件实际效果的的确确比两轮的 A3B 效果要好但是比不上 DeepSeek。跑这个模型的时候明显感受到电脑的风扇噪音更大。看了一下GPU 的温度相比 A3B 也高了 10 度。但是有一点好处是这个模型吃的内存没有那么多当然这个有可能也是需要商榷的可能还存在调整的空间。从各方面来看的话我还是喜欢用 A3B。以上是最近尝试这些东西的一些小小的体验和想法。接下来可能至少会有几个月我会尝试跟这些智能模型进行“共生合作”。探索新的工作、生活和学习模式的同时也为我下一步新的尝试积累一些探索的素材。