模子微调需求www.8abg8.net升温，AI芯片争夺新订单

深圳一家工业量检团队上个月把缺陷检测模子7B压还有3B模微www.8abg8.net。微调一轮的电费比数据标注还贵。

负责人周恺说，实正卡住他们的就是模子微调时隐存总正在，最后一步爆掉。那类埋怨正主动驾驶、医疗影像传还有金融风控，也让AI芯片厂商重新排兵布阵。过去两年，调需夺新订单芯片公布会爱讲千卡集群、峰值算力了。如今客户坐进会议室，先问三件事，收不支撑LoRA和QLoRA，单卡隐存能不能上80GB了，PyTorch晋级后要不要重写算子。北京一家芯片公司售前工程师告诉我，有客户拿着H100租赁报价单来压价，最后却签了国产卡。本果很详细是微调任务碎片化，求升调理软件能省下三成期待时间。模子微调不是缩小版锻炼。它更像几回调火候吧？

数据量不年夜，对隐存带宽、卡间互联和框架兼容性非常敏感。某医疗AI团队用A100 40GB跑眼底影像微调了。batch size调到4就OOM，换用隐存更年夜的AI芯片后，锻炼时间19小时降还有11小时片争。省下的8小时，足够标注团队多处理两千张片子。芯片厂，若是只卖硬件，工具链，客户迁移一次就喊疼的。市场也正在分化了。云端年夜厂继绝囤高端锻炼卡，中小团队则盯上推理取微调一体的计划。英伟达的生态劣势仍正在。

华为昇腾、寒武纪和海光正在特定场景里抢单，靠的是当地办事和定制化。我的判断是芯片下一轮合做不会只看TOPS数字。

但要看谁能让模子微调简单啊？谁把软件坑挖平啊？谁就能拿到那些不起眼却连绝复购的订单啊？周恺比来又测了两款卡。他不再问理论峰值了，只让供给商跑统一套微调剧本，记载每轮用的时间和瓦解次数。那个土方法，可能比公布会PPT更接近实正在疆场的。