AI中文社区
AI一年，人间十年
✏️ 投稿 @FreonLiquid
🏂 频道 https://t.me/LptTech
📻 Discord https://discord.gg/3ggyJ8SV4F
#chatGPT #DeepSeek #OpenAI #AI #人工智能
✏️ 投稿 @FreonLiquid
🏂 频道 https://t.me/LptTech
📻 Discord https://discord.gg/3ggyJ8SV4F
#chatGPT #DeepSeek #OpenAI #AI #人工智能
TGlist रेटिंग
0
0
प्रकारसार्वजनिक
सत्यापन
असत्यापितविश्वसनीयता
अविश्वसनीयस्थान
भाषाअन्य
चैनल निर्माण की तिथिNov 13, 2022
TGlist में जोड़ा गया
Mar 30, 2025संलग्न समूह
ChatGPT中文社区交流
910
समूह "AI中文社区" में नवीनतम पोस्ट
11.03.202515:16
M3 Ultra Mac Studio运行DeepSeek 671B模型与官网速率相当
综合各家测试结果，满血M3 Ultra运行 R1 671B 4bit量化版：GGUF框架下15.78 tokens/s，MLX框架下19.17 tokens/s，整机功耗约60w。在短序列生成场景中，其持续输出速率接近8张A100（FP16精度）集群的基准表现。
当前QwQ 32B测试结果约20 tokens/s（量化版），在线版本因采用更高精度计算和复杂提示工程，实际体验可能优于本地量化部署。
-- 更多详情 张黑黑 | 小白测评 | Flypig
综合各家测试结果，满血M3 Ultra运行 R1 671B 4bit量化版：GGUF框架下15.78 tokens/s，MLX框架下19.17 tokens/s，整机功耗约60w。在短序列生成场景中，其持续输出速率接近8张A100（FP16精度）集群的基准表现。
需特别注意：
关键指标差异：该对比未包含prefill阶段（提示词处理）速度，该环节Mac因内存带宽限制显著慢于GPU集群
精度差异：对比采用4bit量化模型，而A100常规使用16/32bit精度，同等精度下性能差距可能扩大
吞吐量限制：Mac的单任务延迟表现虽优，但多并发吞吐量仍无法与专业计算卡抗衡
当前QwQ 32B测试结果约20 tokens/s（量化版），在线版本因采用更高精度计算和复杂提示工程，实际体验可能优于本地量化部署。
-- 更多详情 张黑黑 | 小白测评 | Flypig
रिकॉर्ड
11.04.202523:59
41.8Kसदस्य31.03.202523:59
100उद्धरण सूचकांक21.04.202521:21
0प्रति पोस्ट औसत दृश्य21.04.202521:21
0प्रति विज्ञापन पोस्ट औसत दृश्य21.04.202521:21
0.00%ER12.03.202523:59
0.00%ERRअधिक कार्यक्षमता अनलॉक करने के लिए लॉगिन करें।