K4YT3X's Channel
12.02.202503:50
在开发一个好玩的东西
晚点把源码放出来
晚点把源码放出来
08.02.202506:06
🚀 我懂了，一定是用 Rust 重写了后端 🚀
证据：https://github.com/mTvare6/hello-world.rs
证据：https://github.com/mTvare6/hello-world.rs
11.02.202522:50
有点可爱没忍住让 DALLE 3 画了一张
模型是 DS R1
模型是 DS R1
08.02.202502:34
最近的 4o 怎么回事，跟小学生刚学会用 emoji 一样到处 spam
09.02.202521:23
看量化的时候看到了这篇论文挺有参考价值，讲量化程度对 emergent abilities 的影响，基本上量化到 Q4 对质量的影响都还是比较小的，再低质量就会有显著下降
现在还有 K-quant, i-quant, AWQ, EXL2 这样精度损失更小的量化方法，还有 imatrix，量化的精度损失应该可以更小，本地部署的门槛越来越低了，我现在日常也就用 uncensored 版本的
DeepSeek R1 Distill Llama 70B Q4_K_M
Qwen2.5 Coder 32B Instruct Q8_0
基本就够了，而且都能直接完整塞进 A6000 VRAM 里，~12 tok/s 还是挺够用的
所以换句话说，杰文斯悖论应该也要开始体现了，大概
https://arxiv.org/abs/2307.08072
现在还有 K-quant, i-quant, AWQ, EXL2 这样精度损失更小的量化方法，还有 imatrix，量化的精度损失应该可以更小，本地部署的门槛越来越低了，我现在日常也就用 uncensored 版本的
DeepSeek R1 Distill Llama 70B Q4_K_M
Qwen2.5 Coder 32B Instruct Q8_0
基本就够了，而且都能直接完整塞进 A6000 VRAM 里，~12 tok/s 还是挺够用的
所以换句话说，杰文斯悖论应该也要开始体现了，大概
https://arxiv.org/abs/2307.08072
07.02.202503:09
08.02.202507:50
转发群友的 DeepSeek R1 回答 🤣
दिखाया गया 1 - 7 का 7
अधिक कार्यक्षमता अनलॉक करने के लिए लॉगिन करें।