LLaMA-factory 微调医疗数据集-lora参数注入问题--林希老师 #745

New Issue

11735802362cs · 2025-06-02T13:34:55+08:00

11735802362cs commented

2025-06-02 13:34:55 +08:00

再次复习本实践课，遇到些更深的问题：

采用lora微调技术：我们只是下载了模型和 LLaMA-factory 框架，设置微调参数，完成了微调，但是对底层原理不清楚

1、系统内找不到train.py的源码文件， lora的参数是如何注入模型层的？如果我想指定，lora权重只注入Q V层如何实现？
2、如果我LLaMA-factory 框架微调Qwen3模型，如果完全按照Llama-3.1-8B的微调步骤做，能行吗？

再次复习本实践课，遇到些更深的问题：采用lora微调技术：我们只是下载了模型和 LLaMA-factory 框架，设置微调参数，完成了微调，但是对底层原理不清楚 1、系统内找不到train.py的源码文件， lora的参数是如何注入模型层的？如果我想指定，lora权重只注入Q V层如何实现？ 2、如果我LLaMA-factory 框架微调Qwen3模型，如果完全按照Llama-3.1-8B的微调步骤做，能行吗？

12019701659cs commented

2025-06-04 17:54:18 +08:00

===========================================================================

核心训练逻辑并不集中在 train.py，而是分布在以下模块中：
src/llama_factory/trainers：训练主流程。
src/llama_factory/peft：与 LoRA/QLoRA 有关的 PEFT 模块封装。
src/llama_factory/models：用于注入模型改动。
LoRA 的注入实现：LoRA 是通过 PEFT 库完成权重注入的。在 LLaMA-Factory 中会调用 PEFT 的 get_peft_model 方法。

===========================================================================

Qwen3 ≠ LLaMA3，训练逻辑不能直接照搬，至少要修改 tokenizer、prompt 格式和模型结构支持。

=========================================================================== 核心训练逻辑并不集中在 train.py，而是分布在以下模块中： src/llama_factory/trainers：训练主流程。 src/llama_factory/peft：与 LoRA/QLoRA 有关的 PEFT 模块封装。 src/llama_factory/models：用于注入模型改动。 LoRA 的注入实现：LoRA 是通过 PEFT 库完成权重注入的。在 LLaMA-Factory 中会调用 PEFT 的 get_peft_model 方法。 =========================================================================== Qwen3 ≠ LLaMA3，训练逻辑不能直接照搬，至少要修改 tokenizer、prompt 格式和模型结构支持。

11735802362cs commented

2025-06-10 15:17:46 +08:00

“Qwen3 ≠ LLaMA3，训练逻辑不能直接照搬，至少要修改 tokenizer、prompt 格式和模型结构支持。”

在lama_factory中如果直接使用可视化界面配置参数，lama_board，似乎会更直接一点，不需关注底层实现，加载模型、导入数据集、训练必要参数就可以了，，在可视化界面力我查看了下，也没有 tokenizer、prompt 这些底层模块的配置? ?? 可否针对此展开下解释？

“Qwen3 ≠ LLaMA3，训练逻辑不能直接照搬，至少要修改 tokenizer、prompt 格式和模型结构支持。” 在lama_factory中如果直接使用可视化界面配置参数，lama_board，似乎会更直接一点，不需关注底层实现，加载模型、导入数据集、训练必要参数就可以了，，在可视化界面力我查看了下，也没有 tokenizer、prompt 这些底层模块的配置? ?? 可否针对此展开下解释？

Sign in to join this conversation.