fastgpt 和 oneapi 不需要GPU，建议在自己机器上部署，使用docker部署坑比较少 模型可以使用xinference在autodl上部署 然后使用ssh隧道建立连接，命令如下 …
此外，autoDL 支持使用ssh，此时可以使用ssh建立隧道，类似如下命令
ssh -p 30921 root@connect.nma1.seetacloud.com -L 0.0.0.0:11434:0.0.0.0:11434 -N
在自己电脑上执行…
问题3：
使用curl的时候报错 Failed to connect to 172.17.0.10 port 11434: Connection refused
应该使用127.0.0.1
autoDl上应该是容器做了限制，不允许使用容器IP进行…
问题2: 是的AutoDL貌似不支持租赁物理机和虚拟机，无法安装docker。 讲义中的使用docker是针对物理机或者虚拟机的，在腾讯云活着阿里云、火山云、AW…
问题1:
访问ollama是本地模型，不是调用GPT，本地地址是127.0.0.1，创建client的时候用如下代码
client = OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="EMPTY")
…
另外关于gradio_gpt4o.py脚本，已经添加了 记录历史会话信息的逻辑 修改后可以将历史会话信息记录下来 <img width="1043" alt="image" src="/attachments/b5c79200-54f…
vllm 目前只支持 named function calling，可能是问题所在
可以的，就是显存有点吃力，模型加载使用bfloat16（如果GPU支持的话），大概估算就是1B参数需要2G显存； 另外还需要预留足够的显存用来做kv-cache，…
可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。
另外就是建议在使用vllm的时候可以使用参数--served-model-name把模型名字改一下
是的，autoDL里不能执行docker。 建议将模型部署在autodl上，fastgpt和oneapi部署在自己的机器上（不需要GPU）。 autodl上的模型可以通过ssh将端口映射出来…
rlhf.py 里在使用AutoModelForCausalLMWithValueHead直接加载了qwen模型，这里是不对的。之前训练的reward没有用上
需要加上
model = AutoModelForCausalLMWithValue…看截屏是在平台上跑的，可以把代码【算法】共享下，我们debug看下什么原因
看报错是在这里
if not self.supports_rm_adapter:
raise ValueError("This model does not support reward modeling adapter.")
需要debug下，看看self.su…