看了下xtuner还没有支持llama3.2，最近社区貌似不是特别活跃了。 可以试下其他工具，比如看到一个：https://github.com/pytorch/torchtune
可以尝试使用qwen模型做中文数据集的微调，此外，function call的微调可以适当提高context的长度，也就是参数max_length。 eval的数据不影响训练的。
两台notebook应该设置同一个IP地址，就是ADDR这个变量应该一样。 因为worker需要连接master，所以需要给定master的IP地址进行通信。 可以将任意notebook作…
问题1 应该是安装上有点问题，可以参考下这个mmdetection issue
问题2可以用du -h /root/autodl-tmp/ --max-depth=1看…
平台上/code目录在训练管理模式下不是共享目录导致的。
run.sh脚本里要改下HF_HOME的环境变量
export HF_HOME=/userhome/huggingface-cache/
这里写的是如何下载数据和模型，教程了使用的是llama作为训练模版。 想要使用baichuan模型请使用这个训练模板，命令是：`xtuner copy-cfg baichuan_7b_qlora…
看训练模版，应该是要使用alpaca数据集格式； 如果想用百川模型，需要使用百川的训练模板 可以使用这个模板：`xtuner copy-cfg baichuan_7b_qlora_oasst1_e3…
需要改成jsonl的格式，一行一个json是一条数据，类似这样
{"instruction_zh": "给出三个保持健康的小贴士。", "input_zh": "", "output_zh": "1. 饮食要均衡且…主要难点在于PDF信息抽取， 可以使用PDF信息抽取工具，再输入到大模型进行总结 比如MinerU工具：https://www.shlab.org.cn/news/5443982 https://github.com/opendatal…
提供一个思路，是否可以让大模型先对问题进行分类？ 提示词可以把问题的种类以及一些实际的分类示例给大模型，让大模型先做个分类，再让大模…
这个看起来是用的nginx做的反向代理配置问题，当文件大小超过1M，会出现413 Request Entity Too Large 如果是自己部署的改下nginx参数，如果是买的服务，…
平台提供的ib是infiniband设备 使用时可以照视频或者课件操作即可。 1 需要申请带ib字样的资源来创建notebook或者训练任务 2 进入notebook后可以使用ibst…
可以的。 fastgpt 配置
{
"model": "glm-4v",
"name": "glm-4v",
"avatar": "/imgs/model/chatglm.svg",
"maxContext": 1024,
"maxResponse":…不是特别清楚通义灵码的实现，找到一个开源项目可以参考看看， https://beginor.github.io/2024/07/12/ai-code-assistant-with-local-llm.html https://github.com/continuedev/c…