HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

[求助帖】在平台上xtuner遇到报错 #584

New Issue
Open
opened 2025-02-25 11:09:28 +08:00 by 12657936948cs · 2 comments
12657936948cs commented 2025-02-25 11:09:28 +08:00
Copy Link

报错如下,我看报错是key的错，可是我把可以都改成instruction、input、output格式了呀，试了一下其他数据集是可以正常微调的，我感觉是我的数据集改的有问题，我看数据集格式和输出的数量是正确的，我使用的修改数据集格式的代码如图4，请问大家有什么解决办法吗？谢谢！

报错如下,我看报错是key的错，可是我把可以都改成instruction、input、output格式了呀，试了一下其他数据集是可以正常微调的，我感觉是我的数据集改的有问题，我看数据集格式和输出的数量是正确的，我使用的修改数据集格式的代码如图4，请问大家有什么解决办法吗？谢谢！
微信图片_20250222011910.png
20 KiB
微信图片_20250222165901.png
2.9 KiB
微信图片_20250222165923.png
34 KiB
微信图片_20250222165006.png
48 KiB
微信图片_20250222011910.png 微信图片_20250222165901.png 微信图片_20250222165923.png 微信图片_20250222165006.png
12657936948cs changed title from 在平台上xtuner遇到报错 to [求助帖】在平台上xtuner遇到报错 2025-02-25 15:33:45 +08:00
12019701659cs commented 2025-02-25 19:23:49 +08:00
Copy Link

可能是你的数据集修改的代码和训练使用的数据集格式不一致，报错说数据集的例子里面没有"messages"，可能你的数据集代码构造没有构造messages。

可能是你的数据集修改的代码和训练使用的数据集格式不一致，报错说数据集的例子里面没有"messages"，可能你的数据集代码构造没有构造messages。
12657936948cs commented 2025-03-04 15:47:21 +08:00
Author
Copy Link

训练拉起来了，主要就是要修改dataset_map_fn=alpaca_map_fn，然后记得from xtuner.dataset.map_fns import alpaca_map_fn，希望有用

训练拉起来了，主要就是要修改dataset_map_fn=alpaca_map_fn，然后记得from xtuner.dataset.map_fns import alpaca_map_fn，希望有用
微信图片_20250304154537.png
48 KiB
微信图片_20250304154537.png
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#584
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?