2024.11.2842-医疗大语言模型实战提问 #471

New Issue

21142853175cs · 2025-01-09T22:05:09+08:00

21142853175cs commented

2025-01-09 22:05:09 +08:00

max_samples是100，那训练的数据集是100，但在启动训练时， 1736429952147 num_examples是117，这个是怎么指定，
Total optimization steps =63，又是怎么指定的

max_samples是100，那训练的数据集是100，但在启动训练时，<img width="520" alt="1736429952147" src="/attachments/0addee4b-1f0a-481a-8fb2-229794e9cf24"> num_examples是117，这个是怎么指定， Total optimization steps =63，又是怎么指定的

1736429952147.png

252 KiB

linhui commented

2025-01-11 14:55:30 +08:00

方便说一下你使用的模型以及使用的代码库吗，从你的截图来看好像不是课上使用的代码

21142853175cs commented

2025-01-11 20:44:51 +08:00

1736599483962.png

106 KiB

12019701659cs commented

2025-01-11 21:43:55 +08:00

max_samples 控制从数据集中加载的样本数量。
num_examples 是实际用于训练的样本数量，可能与 max_samples 不同，具体跟数据加载器、重复采样、数据预处理有关系。
Total optimization steps 由 num_examples、num_epochs、batch_size 和 gradient_accumulation_steps 共同决定。Total optimization steps 表示训练过程中总的优化步骤（即梯度更新次数）。

max_samples 控制从数据集中加载的样本数量。 num_examples 是实际用于训练的样本数量，可能与 max_samples 不同，具体跟数据加载器、重复采样、数据预处理有关系。 Total optimization steps 由 num_examples、num_epochs、batch_size 和 gradient_accumulation_steps 共同决定。Total optimization steps 表示训练过程中总的优化步骤（即梯度更新次数）。

21142853175cs commented

2025-01-12 21:38:08 +08:00

具体是怎么决定的，有什么文档提供吗