為什麼要在 Mini PC 上跑本地 LLM?
雲端模型方便,但資料隱私、長期成本與離線可用性都是問題。低功耗 Mini PC(N100/N150)已經能流暢跑 7B~14B 量化模型,非常適合 home lab 與個人學習環境。
硬體選擇重點
優先考慮:
- 記憶體 ≥ 16GB(建議 32GB)
- 雙網口或至少有 2.5G
- 支援 AV1 解碼(未來多媒體用途)
安裝 Ollama
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.2:3b
ollama run llama3.2:3b
常見問題
- 記憶體不足時優先使用 Q4_K_M 量化
- 長時間推理注意散熱
總結
Mini PC + Ollama 是目前最親民的本地 LLM 入門組合,也是通往更複雜 edge-ai 與 home-lab 架構的第一步。