↓ 跳过正文

+ ROOT / Asanilo's Blog

Llama.cpp

用 llama.cpp server 搭一个本地 OpenAI-compatible API

2026-05-15·343 字·2 分钟

Llama.cpp API OpenAI 本地推理服务器

本地大模型部署工程清单：模型、推理框架、显存、上下文、速度

2026-05-15·383 字·2 分钟

Llama.cpp 本地推理部署性能优化 RTX-4060

Q4_K_M 这类量化格式是什么意思：怎么影响速度和质量

2026-05-15·194 字·1 分钟

量化 Q4_K_M GGUF Llama.cpp 性能优化

MTP神力！RTX 4060 8GB 也能跑 26B 模型？

2026-05-15·543 字·3 分钟

Llama.cpp MTP Gemma-4 MoE 量化本地推理 RTX-4060

GGUF 模型文件到底是什么：从使用者视角理解本地 LLM

2026-05-15·388 字·2 分钟

GGUF Llama.cpp 量化本地推理 LLM