標籤: Ollama

想自己跑 LLM？搞懂模型參數與量化讓你不再選錯模型

如果你有試過想把 AI 模型下載回自己的電腦跑，應該都會遇到一個問題：打開 Hugging Face 看到什麼 7B、Q4_K_M、GGUF 一堆看不懂的代號，根本不知道哪個才適合自己的電腦。這篇就來聊聊這些代號到底是什麼意思，以及該怎麼根據自己的硬體來挑模型。