lx 12019701659cs
  • Joined on 2024-09-05
12019701659cs commented on issue HswOAuth/llm_course#519 2025-02-12 14:50:26 +08:00
AGI期 多模态⼤模型助⼿ docker无法启动

可能有些没有安装完整,比如docker engine,可以参考:https://docs.docker.com/engine/install/ubuntu/

12019701659cs commented on issue HswOAuth/llm_course#529 2025-02-12 14:46:14 +08:00
汇视威平台上的微调

请更详细地描述你的问题,比如执行的流程。

12019701659cs commented on issue HswOAuth/llm_course#530 2025-02-12 14:45:26 +08:00
请问一般用哪个RAG框架比较好?

可以先从LlamaIndex 或 LangChain入手,这两个教程比较详细,其他的可以按需学习。

12019701659cs commented on issue HswOAuth/llm_course#533 2025-02-12 14:43:08 +08:00
oneapi中配置ollama模型,报错如图

先尝试使用curl命令发送请求测试ollama是否可以访问 类似这种: curl http://localhost:11434/api/generate -d '{ "model": "llama3.2", `"prompt": "What color is the…

12019701659cs commented on issue HswOAuth/llm_course#495 2025-02-10 16:42:54 +08:00
【求助帖】我用服务器的ip地址curl 请求一直通不了,使用本地请求就是可以成功的,麻烦老师看一下

分情况:1. 如果是个人调用,让客户端和调用的大模型都放在一个服务器上,就可以实现客户端通过内网ip调用大模型。 2. 如果是想分发出去,可以…

12019701659cs commented on issue HswOAuth/llm_course#510 2025-02-08 17:55:36 +08:00
目前还建议优先使用langchain?还是有更好的框架?

对,不过也可以参考下Vellum、Semantic Kernel、Haystack 和 AutoGen

12019701659cs commented on issue HswOAuth/llm_course#509 2025-02-08 14:36:25 +08:00
OneAPI添加ollama渠道后,测试不通过。

使用http://host.docker.internal:11434看看

12019701659cs commented on issue HswOAuth/llm_course#500 2025-02-06 16:06:54 +08:00
该如何评估一个开源大模型的效果好坏?有没有一套标准的流程或者工具可以评估一些指标

目前还没有一套绝对统一和标准的评估流程或工具。 目前的评估工具可以参考下: OpenAI Evals:GitHub - openai/evals;OpenAI 提供的开源评估框架,用于评…

12019701659cs commented on issue HswOAuth/llm_course#495 2025-02-06 14:21:56 +08:00
【求助帖】我用服务器的ip地址curl 请求一直通不了,使用本地请求就是可以成功的,麻烦老师看一下

远程访问服务器需要公网ip,你这个仍然是内网ip,公网ip需要购买。

12019701659cs commented on issue HswOAuth/llm_course#493 2025-02-06 14:19:36 +08:00
27-24.8.18Agent理论+实战项目八:基于图片的智能信息检索问答-基德老师-报错

可能是下载的Pydantic 版本与 FastAPI 或 Starlette 的版本不兼容,可以安装下低版本的软件包

12019701659cs commented on issue HswOAuth/llm_course#492 2025-01-26 21:47:56 +08:00
各位有用过什么大模型方案,是自然语言查数据库形成报表,再存库的嘛?

可以看下Microsoft Power BI、Tableau、Google Cloud Natural Language API、Amazon QuickSight里面的解决方案

12019701659cs commented on issue HswOAuth/llm_course#491 2025-01-25 22:16:19 +08:00
linux虚拟机监测不到GPU

windows上执行和ubuntu执行的命令基本上差不多了,教程可以直接用在windows上;也可以在windows的docker上创建ubuntu容器,也可以运行。

12019701659cs commented on issue HswOAuth/llm_course#490 2025-01-23 21:34:15 +08:00
麻烦老师看看,如何装CUDA驱动,才能调用GPU?
  1. 检查 PyTorch 和 CUDA 的兼容性:可以参考 https://pytorch.org/get-started/previous-versions/
  2. 验证 CUDA 是否正确安装: nvcc --version
  3. 验证 PyTorch 是否正确安装…
12019701659cs commented on issue HswOAuth/llm_course#484 2025-01-21 20:36:13 +08:00
如何把第9节课的大模型微调里面的问答数据和第5节课的funcation结合起来?

可以参考第五节课使用的数据集的格式,修改问答数据的格式来训练。

12019701659cs commented on issue HswOAuth/llm_course#483 2025-01-20 17:06:58 +08:00
docker内存清理不掉

可能还在使用的镜像和删除的镜像共用的是同一个layer,所以实际上没有删除多少东西。如果是缓存问题,可以参考https://blog.csdn.net/qq_38924779/article/det

12019701659cs commented on issue HswOAuth/llm_course#482 2025-01-20 17:02:51 +08:00
dify如何加载本地下载的大模型

可以部署到xinference里面,在dify中调用xinference的模型