🔥 AI资讯
全部新闻 →
热点
Qwen2-80B/35B大模型Mac与iPhone端侧部署:FP4/INT4混合量化+全量KV缓存离线推理
Qwen 80B 大模型现在能在 Mac 上仅用 4.3GB RAM 流畅推理,35B 版本已实现在 iPhone 14/15 运行——Hacker News 连续 48 小时热榜第一。这是首个在消费级设备上完成全量 KV 缓存 + FP4...
AI模型排行 · Skills技能 · 行业资讯 · 开发教程 · 生态工具
Qwen 80B 大模型现在能在 Mac 上仅用 4.3GB RAM 流畅推理,35B 版本已实现在 iPhone 14/15 运行——Hacker News 连续 48 小时热榜第一。这是首个在消费级设备上完成全量 KV 缓存 + FP4...