求助帖：大模型04期Function Call实践-作业 #390

New Issue

11252177484cs · 2024-11-20T11:34:24+08:00

11252177484cs commented

2024-11-20 11:34:24 +08:00

【进阶】使用function call数据测试微调大模型，提升大模型functioncall能力，比如使用这个数据集https://huggingface.co/datasets/Deepexi/function-calling-small

1、已经下载了数据集，function-calling-small_aliyun_openapi_V2.csv, 修改第一行为instuction,input ,output. 附图1
2、下载了配置文件llama3_8b_instruct_qlora_alpaca_e3_copyllama3_8b_instruct_qlora_alpaca_e3_copy，修改了相关配置，主要是大模型和数据所在目录.附图 2
3、运行命令：NPROC_PER_NODE=4 xtuner train /code/llama3_8b_instruct_qlora_alpaca_e3_copy.py --work-dir /userhome/llama3-8b-ft/function-calling --deepspeed deepspeed_zero3_offload ，报错。附图3
判断可能是因为数据文件的问题
请问：1、.csv文件是否要转化为.json文件。2、如何进行转换？
相关截图如下：
1、

2、

3、

【进阶】使用function call数据测试微调大模型，提升大模型functioncall能力，比如使用这个数据集https://huggingface.co/datasets/Deepexi/function-calling-small 1、已经下载了数据集，function-calling-small_aliyun_openapi_V2.csv, 修改第一行为instuction,input ,output. 附图1 2、下载了配置文件llama3_8b_instruct_qlora_alpaca_e3_copyllama3_8b_instruct_qlora_alpaca_e3_copy，修改了相关配置，主要是大模型和数据所在目录.附图 2 3、运行命令：NPROC_PER_NODE=4 xtuner train /code/llama3_8b_instruct_qlora_alpaca_e3_copy.py --work-dir /userhome/llama3-8b-ft/function-calling --deepspeed deepspeed_zero3_offload ，报错。附图3 判断可能是因为数据文件的问题请问：1、.csv文件是否要转化为.json文件。2、如何进行转换？相关截图如下： 1、 <img width="415" alt="image" src="/attachments/0102fa30-613f-4cdb-8b17-722d3a693b00"> 2、 <img width="415" alt="image" src="/attachments/1ae9800d-bc12-4a16-b9d7-95bf31a1f0e3"> 3、 <img width="415" alt="image" src="/attachments/f1d13f98-8cc6-4de1-8e4c-6a6ea5815cc5"> <img width="415" alt="image" src="/attachments/7d5386ac-5421-4161-b98e-3df02814f7fe">

11252177484cs closed this issue

2024-11-21 11:37:40 +08:00

Sign in to join this conversation.