请问老师，基于我的需求，如何微调，微调后的模型，如何部署 ollama呢？ #726

New Issue

12754933808cs · 2025-05-14T10:52:00+08:00

12754933808cs commented

我有很多某行业的专业性的 pdf 或 word文件，希望在具体底座模型如:qwen，基础上做微调，训练后的模型部署到 ollama 服务上前端我们做了应用，访问训练后的模型，为用户提供服务。目前的问题:
1、如何微调
2、微调后的模型，如何部署 ollama

我有很多某行业的专业性的 pdf 或 word文件，希望在具体底座模型如:qwen，基础上做微调，训练后的模型部署到 ollama 服务上前端我们做了应用，访问训练后的模型，为用户提供服务。目前的问题: 1、如何微调 2、微调后的模型，如何部署 ollama

12019701659cs commented

如果是用于对话的微调，需要先把文件转换为对话格式的数据，可以参考llamafactory的sft教程、rl教程；一般sft就行。
部署ollama：需要转换为gguf格式的文件，然后再ollama中部署，在llamafactory里面也有对应的一站式转换教程。

如果是用于对话的微调，需要先把文件转换为对话格式的数据，可以参考llamafactory的sft教程、rl教程；一般sft就行。部署ollama：需要转换为gguf格式的文件，然后再ollama中部署，在llamafactory里面也有对应的一站式转换教程。

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

2 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#726