从数据准备、LoRA 微调、GGUF 导出到本地服务压测,跑通一个可复现的本地模型微调闭环。
使用 Unsloth:本地微调与运行 LLM / 扩散模型,支持 GGUF、MLX 和低显存训练。
使用 Soup:用一份 YAML 在消费级显卡上微调 LLM。
使用 Ollama 本地大模型:一条命令跑本地大模型,数据不出门。
使用 LocalAI:本地 AI 引擎,统一运行 LLM、视觉、语音、图像和视频模型。