6k元体验大模型核心技术

大模型是数据，算力和算法三大核心技术的结晶，这篇文章主要谈谈算力这块。算力听起来似乎离我们普通人很遥远，A100一卡难求，4090也可以炒货，不过单卡的算力提升虽然重要，但是大模型成功的关键却在于大规模训练必须的nvlink技术上，名词解释就不说了自行gpt去吧。那么我们普通人怎么以合理的价格来体验这项技术，并且能发挥一些实际的作用，就是这篇文章的核心内容。

如果你

1. 家里只打算放一台PC而非机架式服务器，并且对噪声容忍度比较低

2. 希望通过本地模型而非API方式来做一些应用的POC，或者处理一些敏感数据，即大模型使用场景主要是推理，或者有一些很少的ft需求

3. 预算比较有限（6-7k甚至更低）的话

4. 除了搞一些大模型之外也有普通的需求，比如打游戏之类的
   

5. 比较爱折腾
   

都可以看看这个方案，如果这些约束对你来讲都不重要，那么可能这个方案不适合你。

经过一些调研后方案思路从支持nvlink的显卡入手，除了专业显卡之外，消费级显卡里面最低支持nvlink的就是RTX 2080ti，尤其该款显卡具有22G显存魔改版本，单卡就可以覆盖7B，13B，20B三档的量化后的常见开源模型，不过对更大尺寸的模型，尤其是有巨大提升的moe模型，例如mixtral 7Bx8都是无法靠单卡载入的（消费级显卡4090ti也只有24G显存），只能通过推理引擎把部分层加载到系统内存来运行，整个过程非常痛苦，简直是浪费生命。这个时候通过nvlink可以把全部的层加载到显存中，分别占用18+16G显存，完美，推理速度也有10倍以上的提升。当然3090，4090都是很好的选择，但是明显预算超标了，如果预算支持也是推荐上更新的显卡，不光算力有提升，架构上也支持一些推理的新技术。是否选择300A，我个人觉得意义不大，因为你的散热会成为瓶颈的，然后记得买两块一样品牌一样规格的，涡轮相对便宜一些，风扇改不改具体看你散热系统了。就算不跑大模型，nvlink之后玩游戏也相当给力。选完了大头显卡，剩下关键的就是主板，一定要支持SLI技术的，目前我看到的主要是消费级的主板和一些准系统服务器主板，价格很有吸引力的寨板（X99）基本没有支持SLI的，二手的话记得尽可能买大牌，尽量买ATX规格以上的板子，两块显卡很占地方。CPU和内存丰俭由人，建议选新一些，支持更大内存的。电源务必选1200w以上，这两块显卡加一起500w，如果是矿龙的话，记得选改过风扇的。机箱这些尽量买大的。硬盘这些买m2吧，建议1t以上，用wsl2尽量把模型都放到linux的分区上，加载速度可以极大的节省你的生命。

具体方案如下

显卡：两块MSI RTX 2080ti 22G 涡轮版300核心，有一块改了万图师的风扇，一共5000

nvlink桥：七彩虹igame hi3 nvlink 4slot 200，这个根据你的显卡规格和主板的空间买

主板：MSI X99 SLI Plus

CPU：Intel i7-5930K 和主板，水冷一起680

内存：8x8G DDR4 600

电源：长城巨龙1250W 改风扇 换易损件 加显卡线 250

硬盘：旧主机硬盘

机箱：大水牛 拯救者 加三个风扇 120

一共6000出头，如果你自己旧主机的主板和cpu能用的话还能省下一笔哦。所有配件来自于pdd和咸鱼，自己多淘淘说不定有惊喜。

不足之处

1. 散热真的是个大问题，目前是开着机箱的……可能后续还要投资
   

2. 二手件质保听天由命了，可能出问题的时候所谓的店保，商家都不存在了……

3. 如果你对价格有执念的话，寨板x99大内存+单显卡也不是不能用

后记

前前后后也折腾了快半个月，包括调研和蹲价格，北京最近的物流时效也因为众所周知的原因比较差一些，距离上一次亲手装机已经过去了15-6年了，相当enjoy这个过程：）

后续应该还会写一些大模型应用开发的文章

想想还真是奇妙，从sli到nvlink，nvidia从3d游戏需求起家，慢慢拓展到了数据中心，占据了AI的C位，万亿市值。

省的有人来杠，nvlink有多个规格，消费级的是最低的（但是也够用），万卡互联啥的不用想了，你永远不要低估黄（仁勋）师傅的刀法……

留一张成品纪念照