请问autogen能调用本地大模型吗？autogen一直无法获取本地大模型，该怎么解决？（本地大模型已通过vllm部署)） #204

New Issue

XPH · 2024-10-17T00:03:44+08:00

XPH commented

2024-10-17 00:03:44 +08:00

No description provided.

)E]2(XFF2A`0H3EJRX})6(M.png

24 KiB

8)BP~VG~VU%U}BUQ76C2S8B.png

7.9 KiB

DA@[Q_%7E7%QPSV3(FA03XW.png

19 KiB

XPH commented

2024-10-17 00:08:37 +08:00

本来想直接openai调用gpt，但发现好像不够token了，所以就换本地大模型仿造调用openai接口来进行交互，但一直获取不了部署好的本地大模型。

21970855250cs commented

2024-10-17 22:49:46 +08:00

可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。
另外就是建议在使用vllm的时候可以使用参数--served-model-name把模型名字改一下

可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。另外就是建议在使用vllm的时候可以使用参数`--served-model-name`把模型名字改一下

XPH commented

2024-10-18 01:10:16 +08:00

可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。
另外就是建议在使用vllm的时候可以使用参数--served-model-name把模型名字改一下

嗯，这个已经没有问题了，但是本地大模型在进行多代理协作执行时没有调用我写好的函数。换作gpt系列就可以调用，可惜token用完了

> 可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。 > 另外就是建议在使用vllm的时候可以使用参数`--served-model-name`把模型名字改一下嗯，这个已经没有问题了，但是本地大模型在进行多代理协作执行时没有调用我写好的函数。换作gpt系列就可以调用，可惜token用完了

XPH commented

2024-10-18 21:07:28 +08:00

可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。
另外就是建议在使用vllm的时候可以使用参数--served-model-name把模型名字改一下
autogen确实可以调用本地大模型，但是本地大模型一直调用不了自己写好的函数，不知道是哪里出的问题？图1是自己定义的函数，图2是创建的agent，图3是报错信息本地大模型一直不能获取自定义的函数

> 可以先用openai的sdk调用下调试，如果没有问题，再调试下autogen。 > 另外就是建议在使用vllm的时候可以使用参数`--served-model-name`把模型名字改一下 autogen确实可以调用本地大模型，但是本地大模型一直调用不了自己写好的函数，不知道是哪里出的问题？图1是自己定义的函数，图2是创建的agent，图3是报错信息本地大模型一直不能获取自定义的函数

1TNK%KOVY4V364QJPDHN@2L.png

27 KiB

VAAOH0KIQR$HQ2L9(B`ZONP.png

88 KiB

8H7PHZAZJ@Y5N9%(3KPCATR.png

27 KiB

21970855250cs commented

2024-10-18 23:20:04 +08:00

vllm 目前只支持 named function calling，可能是问题所在

vllm 目前只支持 named function calling，可能是问题所在 <img width="834" alt="image" src="/attachments/a658af8c-7625-4b6a-b4ca-6ee0f666f972">

image.png

178 KiB

XPH commented

2024-10-18 23:28:17 +08:00

vllm 目前只支持 named function calling，可能是问题所在

好的，明白了。那我得把vllm部署框架换成ollama试一试

> vllm 目前只支持 named function calling，可能是问题所在 > <img width="834" alt="image" src="/attachments/a658af8c-7625-4b6a-b4ca-6ee0f666f972"> 好的，明白了。那我得把vllm部署框架换成ollama试一试

Sign in to join this conversation.