返回热力追踪
关注未分类
微软演示DeepSeek V4 Flash量化后在Surface Laptop Ultra本地运行
微软在Windows YouTube频道发布演示视频,展示284B参数的DeepSeek V4 Flash大模型经1.6bit低比特量化后,可在搭载Nvidia RTX Spark芯片、最高128GB统一内存的Surface Laptop Ultra上本地运行。目前已有多家平台上线该模型的量化版本,针对不同硬件给出了部署要求。
编辑视角
低比特量化让大参数大模型在消费级PC本地运行成为可能,这一进展预示着本地AI应用生态将加速发展,对AI部署落地和消费级AI硬件都有重要影响,值得持续关注。
深度解读
本次信号的核心是微软演示了低比特量化后的284B参数DeepSeek V4 Flash大模型,可在搭载高容量统一内存的新款Surface Laptop Ultra上本地运行。现有外部检索已确认存在该模型的公开量化版本,且微软官方已发布演示视频,内部知识库也已确认Surface Laptop Ultra搭载Nvidia RTX Spark芯片并提供最高128GB统一内存,为该模型本地运行提供硬件支撑。
本次信号的边界在于:目前公开量化版本仅支持macOS(Apple Silicon),Windows平台支持仍在开发中;低比特量化会带来模型精度损失,复杂任务表现不如全精度版本;普通消费级PC硬件门槛仍较高,q2量化版本需约96GB内存,当前多数消费级设备无法满足。后续需要关注Windows平台版本的正式发布,以及更低硬件门槛量化版本的推出,同时关注低比特量化技术对模型效果的影响。
核心要点
- DeepSeek V4 Flash是284B参数的MoE大模型,经1.6bit量化后约需60GB内存
- 微软演示该模型可在搭载Nvidia RTX Spark芯片的Surface Laptop Ultra本地运行
- 该模型公开量化版本目前仅支持Apple Silicon的macOS,Windows支持待开发
- 低比特量化让大参数大模型在消费级硬件本地部署成为可能
延伸阅读
- Microsoft 发布 Surface Laptop Ultra,搭载 Nvidia RTX Spark SoC 主打本地 AI — 该信息是本次事件涉及的硬件产品基础信息