hsw_ray rayhsw
  • Joined on 2024-07-17
rayhsw commented on issue HswOAuth/llm_course#424 2024-12-18 09:55:00 +08:00
如何用自己的服务器开启隧道,用LLaMA-Factory运行基座模型

你自己的服务器需要拥有公网IP

rayhsw commented on issue HswOAuth/llm_course#407 2024-12-03 18:51:05 +08:00
第九节课按课件训练出模型后执行llamafactory-cli api --model_name_or_path部署出错

你似乎把数字1和字母l搞混了,你左侧打开的是autodl-tmp,但是你命令行进入的是autod1-tmp(autod1<-你这个是数字1,不是字母l)。

rayhsw commented on issue HswOAuth/llm_course#384 2024-11-25 11:43:11 +08:00
新装电脑后openAI无法调用
image 看错误提示,应该是url不对,方便将mytest002.py这个文件通过附件形式,上传到论坛…
rayhsw commented on issue HswOAuth/llm_course#366 2024-11-23 19:16:19 +08:00
【求助帖】将微调模型仿OpenAI兼容接口出错

可以看下面的截图,确认下模型名称: image

<img width="470" alt="image" src="/attachments/f0aa57b7…

rayhsw commented on issue HswOAuth/llm_course#366 2024-11-22 18:45:19 +08:00
【求助帖】将微调模型仿OpenAI兼容接口出错

视频最后,发送信息以后,可以麻烦看一下jupyter里面的命令行报什么错么?看看nextchat的api密钥随便设置一个,还有就是聊天之前,模型是否选择对…

rayhsw commented on issue HswOAuth/llm_course#372 2024-11-21 23:02:17 +08:00
【求助】微调训练出错,报错信息和截屏如下

谢谢,可以了,但还有个问题,我要添加别的对话信息,老师提供的json文件里键值对不够表达,我怎么添加别的关键词?怎么保证格式的正确?

rayhsw commented on issue HswOAuth/llm_course#372 2024-11-19 15:19:02 +08:00
【求助】微调训练出错,报错信息和截屏如下

请问是否按照教程,更新了dataset_info.json文件?另外请将数据集命名为my_demo.json,确保和老师上课时所有操作一致。您可以上传dataset_info.json给我,我…

rayhsw commented on issue HswOAuth/llm_course#366 2024-11-19 15:10:10 +08:00
【求助帖】将微调模型仿OpenAI兼容接口出错

注意,上述命令llamafactory-cli api --model_name_or_path /root/autodl-tmp/modelscope/hub/ZhipuAI/glm-4-9b-chat --template glm4 --adapter_name_or_path saves/GLM-4-9B-Chat/lora/train_2024-08-31…

rayhsw commented on issue HswOAuth/llm_course#366 2024-11-19 15:05:59 +08:00
【求助帖】将微调模型仿OpenAI兼容接口出错

这里没有看懂image

  1. 如何查看显存
  2. 在哪里启动接口
  3. GIT bash 在微调时,是一…
rayhsw commented on issue HswOAuth/llm_course#382 2024-11-18 20:16:34 +08:00
模型部署功能问题

是的,平台主要侧重训练,推理和部署暂无规划,该按钮可能存在误解,我们将尽快隐藏

rayhsw commented on issue HswOAuth/llm_course#370 2024-11-16 00:53:41 +08:00
中文 llama3 仿 openai api 实战

老师,我自己笨配置太低,该怎么办呢?怎么才能跟着老师跑一遍呢

需要内存满足需求才能使用自己的笔记本做实验哦,也可以跟着之前的教程…

rayhsw commented on issue HswOAuth/llm_course#372 2024-11-15 01:10:25 +08:00
【求助】微调训练出错,报错信息和截屏如下
image

该json文件的格式,与上课时候提供的JSON文件,内部的文件组织形式不一样。建议…

rayhsw commented on issue HswOAuth/llm_course#378 2024-11-14 17:48:55 +08:00
求助!windows平台下载llama3模型报错问题!

这个不是windows或者linux的问题,这个是你的网络问题,可以尝试换一个网速更稳定,速度更快的环境再下载试试。

rayhsw commented on issue HswOAuth/llm_course#376 2024-11-14 17:47:22 +08:00
汇视威计算平台搭建的GLM3-6B模型网页版如何访问?

需要打隧道,在您的本机输入类似下面的命令: ssh -CNgv -L 8501:127.0.0.1:8501 root@connect.beijinga.seetacloud.com -p 35596

关于打隧道的原理,请参考帖子:https…