Block a user
【求助贴】11提示词工程实践-llama7b微调结果
需要提供以下信息进行排查哈
- 运行的日志贴一下，两个notebook中的都要；
- 两个notebook中运行的命令也贴一下；
- 作为master的notebook ip通过ifconfig…
ollama并发问题
我这边简单测试了下，用的两块3090，看起来并发是没啥问题的 我的docker 镜像id：1577d5e882da
docker run -it --gpus=all -e OLLAMA_SCHED_SPREAD=10 -e OLLAMA_KEEP_A…
进行RLHF微调中的奖励模型训练阶段，在进行数据处理时出现错误，在本地电脑能成功跑通，但是显存资源不够。在汇视威平台就出现了以下的报错信息。本地的和汇视威平台的transformers库以及tokenizers库都相同，不明白在汇视威平台执行图1的代码时为什么报错？求助如何解决？
这里应该是中文导致的错误，tokenzier有两个实现，这里应该是rust的报错。可以在初始化tokenizer的时候将use_fast设置成false试一下。
【求助帖】关于微调后的大模型如何评估？
如果自己有比较多的数据用于评估，可以使用OpenCompass工具：https://github.com/open-compass/OpenCompass/ 使用指南在这里：https://opencompass.org.cn/doc
oneapi 启动后 fastgpt连接时 显示netcontext error
这个指的是fastgpt打开后就出现network error吗？ 可以用docker logs -f fastgpt 看下日志，我们再进一步分析看看
flash-attn安装问题
一般来说falash-attn和deepspeed zero3是可以一起使用的也可以各自单独使用。 看报错事编译flash-attention报错；不安装flash-attn的报错也可以发下看看？另外…
【求助帖】Xtuner训练遇到的问题21536073571cs
这里报错显示的是两个notebook的进程建立通信超时了，大概率是命令写错了。 可以把两个notebook中的执行命令都发一下吗？
或者检查下这几个流程…
关于大模型04期Function Call实践中的6机实验