21547230244cs
  • Joined on 2024-09-02
21547230244cs commented on issue HswOAuth/llm_course#343 2024-11-13 15:22:28 +08:00
中文 llama3 仿 openai api 实战 ---使用云服务创建大模型,指定GPU,但是实际只用了CPU

如果租用的云服务器没有用英伟达 GPU芯片,可以吗

可以使用autodl来租带GPU的服务器

21547230244cs commented on issue HswOAuth/llm_course#372 2024-11-12 19:31:38 +08:00
【求助】微调训练出错,报错信息和截屏如下

请问这个dataset是您自己设置的嘛 还是根据课程操作手册来弄的?

21547230244cs commented on issue HswOAuth/llm_course#364 2024-11-08 17:13:37 +08:00
【求助帖】大模型微调后回复乱码

放在LLaMA-Factory底下是正确的;您的操作没有错。

打开requirements_llm.txt文件,将第一行与最后一行删掉。

我录了操作视频,您可以看看。

21547230244cs commented on issue HswOAuth/llm_course#364 2024-11-08 14:58:08 +08:00
【求助帖】大模型微调后回复乱码

由于之前也有一些同学出现了类似的问题,已经解决问题并更新了新的操作手册:

https://www.yuque.com/hkutangyu/di80sc/oy84gbs16y1ubzdd?singleDoc# 《基于LLaMA-Fa…

21547230244cs commented on issue HswOAuth/llm_course#361 2024-11-08 14:39:38 +08:00
【求助】Visual Studio Code能编辑json文件吗?

请问您是直接复制粘贴以下代码进my_demo.json的吗?如果不是直接复制粘贴的话,请复制粘贴到my_demo.json文件里。

[ { "instruction": "你好", …

21547230244cs commented on issue HswOAuth/llm_course#363 2024-11-08 14:34:19 +08:00
中文 llama3 仿 openai api 实战中命令执行错误

这里llm_course是老师的用户名,并非您自己的用户名,可以把这里的用户名替换成自己的用户名。

在移动文件前,可以先用ls查看该目录下是否有该…

21547230244cs commented on issue HswOAuth/llm_course#361 2024-11-07 18:05:40 +08:00
【求助】Visual Studio Code能编辑json文件吗?

可以长丝选中括号内的内容,再按tab

只要是文本编辑器都可以,如vim

21547230244cs commented on issue HswOAuth/llm_course#357 2024-11-07 15:10:08 +08:00
【请教】关于FastGPT平台中AI模型新增如何操作?

可以先在本地部署模型,然后在OneAPI中接入该模型。具体可以参考以下两次课程的实验:

https://docs.qq.com/doc/p/0555f97a90b6f2f9f039bd0c9251f5d7d1e7a506

http…

21547230244cs commented on issue HswOAuth/llm_course#354 2024-11-07 15:02:08 +08:00
[求助帖]LLM-多模态理论+案例讲解-24.10.23-林希老师,做MINIGPT实验报错,如图。请老师帮助解决

代码显示PyTorch不包含CUDA支持的版本;建议更换PyPorch。

也可以尝试使用pip或conda命令安装,确保选择正确的CUDA版本。

![image](/attachments/74d6ef2d-d3a0-…

21547230244cs commented on issue HswOAuth/llm_course#353 2024-11-07 14:55:11 +08:00
程序运行完后显卡还没释放,如何释放?

请问你做的是哪节课的实验?如果是模型的话应该要把模型停掉

21547230244cs commented on issue HswOAuth/llm_course#343 2024-11-05 18:17:59 +08:00
中文 llama3 仿 openai api 实战 ---使用云服务创建大模型,指定GPU,但是实际只用了CPU

因为某些限制平台无法使用

这里首先需要自行准备一台Linux服务器。

21547230244cs commented on issue HswOAuth/llm_course#344 2024-11-04 15:29:38 +08:00
【求助帖】无法选择数据集

请问是否有创建自定义数据集my_demo.json在~/LLaMAFactory/data/底下?如果已创建,是否有更新dataset_info.json文件?

21547230244cs commented on issue HswOAuth/llm_course#343 2024-11-04 15:23:11 +08:00
中文 llama3 仿 openai api 实战 ---使用云服务创建大模型,指定GPU,但是实际只用了CPU

本次实验不能使用云服务器噢~ 可以远程连接Linux服务器来做本次实验

21547230244cs commented on issue HswOAuth/llm_course#335 2024-11-01 16:39:08 +08:00
另:10.16课件:中文llama3仿openai api实战

根据图片,是http设置的有问题

可以否提供下nextchat设置里接口位置以及API key的截图?

21547230244cs commented on issue HswOAuth/llm_course#333 2024-11-01 16:37:02 +08:00
10.16课件:中文llama3仿openai api实战

您好,能否提供一下open_api_sever.py这个文件的截图? 报错现实的是440行return那有语法错误

image

21547230244cs commented on issue HswOAuth/llm_course#326 2024-10-30 09:54:32 +08:00
提示词微调-代码报错

请确认下task0和task1是否有设置环境变量

export HF_HOME=/code/huggingface-cache/ export HF_ENDPOINT=https://hf-mirror.com export http_proxy=http://10.10.9.50:3000 export…

21547230244cs commented on issue HswOAuth/llm_course#319 2024-10-29 19:10:58 +08:00
【求助帖】10-27-提示词工程-多机多卡微调 作业二

这个codellama模型应该是被下载到huggingface公共数据集里的,所以如果要使用这个模型的话,在创建notebook时还是应该选择huggingface公共数据集。

打开n…

21547230244cs commented on issue HswOAuth/llm_course#319 2024-10-29 14:33:57 +08:00
【求助帖】10-27-提示词工程-多机多卡微调 作业二

这个看你选择的数据集路径位于哪里。 data_path就是写你选择的数据集的路径,如果你选择的是公共数据集进行训练那么路径就选择公共数据集;如果…

21547230244cs commented on issue HswOAuth/llm_course#318 2024-10-29 11:23:41 +08:00
【求助】10月16号课程跟练报错

可能需要提供一下nextchat设置界面的截图

21547230244cs commented on issue HswOAuth/llm_course#314 2024-10-29 11:11:59 +08:00
多机多卡训练出错

请确保有cd code,这里的命令应该在code目录下进行

应该是路径问题,你试试在 NPROC_PER_NODE=4 NNODES=2 PORT=22222 ADDR=10.244.209.56 NODE_RANK=0 xtuner train…