跳到正文
mrsaynothing.dev
+ create a post
login
ZH
English
EN
Français
FR
Español
ES
Русский
RU
中文
ZH
العربية
AR
菜单
>
Ollama, end to end
▋
1
Ollama vs LM Studio:你的模型栖身的两个车库
要图形界面浏览聊天,还是要可脚本化的本地 API 服务器——两个车库都走了一遍,许可证与速度已有定论,每条命令今天就能跑。
2
首飞——如何本地运行 GGUF 模型
飞行前检查全套:选运行器、拉取 GGUF、确认它落在 GPU、选好量化——并在四种中止发生前就叫得出它们的名字。
3
Ollama 不用 GPU——五种原因,以及点名它们的日志
模型加载期间,ollama ps 会打出 PROCESSOR 一列——这一列就是全部诊断。服务器日志会点名实际找到的硬件;原因只有五种左右,修法表格在下面。
GGUF and the VRAM budget
systemd ops