调用国外大模型测试出现的问题 #69

New Issue

12390900721cs · 2024-09-12T13:43:13+08:00

12390900721cs commented

2024-09-12 13:43:13 +08:00

大模型学习思路：

面向一个垂直行业，先接GPT4系列模型的API，大语言模型或者多模态均可；
基于现有框架，进行本地知识库微调，能够形成行业级应用；
平替掉GPT4系列，换成国产大模型API；
本地大模型部署，替换调用国产大模型API；
多机多卡训练微调大模型，使用训练微调后的大模型部署应用；
大模型部署推理。

讲义中关于国内大模型api-key申请准备已十分详细，这里对国外大模型api-key进行申请尝试。
这里尝试使用国外大模型GPT-4o

密钥申请
OpenAI API密钥可以从此处获得：https://platform.openai.com/api-keys
尝试调用模型
这里首先要进入call_openai.py处，对api_key进行设置。这里我尝试了直接在括号输入密钥、字符串形式输入密钥和api_key关键词方式输入，只有最后一种方式成功。
运行结果
使用python3 call_openai.py出现如下报错：
openai.APIConnectionError: Connection error.
httpcore.ProxyError: 503 Service Unavailable
查阅原因，表示客户端无法与 OpenAI 的 API 服务建立连接。这通常是由于网络问题、代理配置错误或 API 服务暂时不可用引起的。
用curl进行连接测试：
curl https://api.openai.com/v1
结果如下：
curl: (56) Received HTTP code 503 from proxy after CONNECT
表明请求通过代理服务器时，代理返回了 503 Service Unavailable。这通常意味着代理服务器无法处理请求或代理本身有问题。以下是可能的原因及解决方法：

代理服务器故障：代理服务器当前无法处理请求，可能因为过载、维护或配置错误。
网络连接问题：你的网络可能限制了对 OpenAI API 的直接访问，需要配置代理，但代理设置可能不正确或失效。
代理认证问题：如果代理服务器需要认证，认证失败也可能导致此错误。
OpenAI API 服务中断：尽管这种情况不常见，OpenAI 服务器暂时不可用时，也可能返回 503 状态码。
这里我认为是网络连接的问题。应该只差这一步了，前面都能够跑通。

后续在课程中说了原来是平台上不能挂梯子，那没事了。

这里用国产api沿着相同思路进行尝试。
与上述使用密钥方式相同，如果没有使用
export OPENAI_API_KEY=***** export ZHIPUAI_API_KEY=*****
来进行api-key的设置，需要在代码中使用关键词的方式进行替换。
替换后使用python3 call_glm4.py的方式进行测试，得到结果
root@w52b7a574407463db61ff4809d6eb6d0-task0-0:/code# python3 call_glm4.py To answer the question, you would need to write an SQL query that selects the classfrom thetable_name_12where thefrequency_mhzis greater than 91.5 and thecity_of_license` is 'hyannis, nebraska'. Here is the SQL query for that:

SELECT class 
FROM table_name_12 
WHERE frequency_mhz > '91.5' AND city_of_license = 'hyannis, nebraska';

Note: Assuming the frequency_mhz field is stored as a string that can be compared with simple greater than (>) operator. If it's stored as a numeric type, there would be no need to include quotes around the number in the query.`
证明思路正确，完成了实验的复现。

大模型学习思路： 1. 面向一个垂直行业，先接GPT4系列模型的API，大语言模型或者多模态均可； 2. 基于现有框架，进行本地知识库微调，能够形成行业级应用； 3. 平替掉GPT4系列，换成国产大模型API； 4. 本地大模型部署，替换调用国产大模型API； 5. 多机多卡训练微调大模型，使用训练微调后的大模型部署应用； 6. 大模型部署推理。讲义中关于国内大模型api-key申请准备已十分详细，这里对国外大模型api-key进行申请尝试。这里尝试使用国外大模型GPT-4o 1. 密钥申请 OpenAI API密钥可以从此处获得：[https://platform.openai.com/api-keys](url) ![85979d3313f970b2113a3478b4ff0db..png](/attachments/527a4b2a-11d6-4bd9-b04b-a14216b06a30) 2. 尝试调用模型这里首先要进入call_openai.py处，对api_key进行设置。这里我尝试了直接在括号输入密钥、字符串形式输入密钥和api_key关键词方式输入，只有最后一种方式成功。 ![993ea029438bedcd6d939d4318907c0.png](/attachments/d31d6a88-e361-4ed4-a2c1-905bad39b4ce) 3. 运行结果使用`python3 call_openai.py`出现如下报错： `openai.APIConnectionError: Connection error.` `httpcore.ProxyError: 503 Service Unavailable` 查阅原因，表示客户端无法与 OpenAI 的 API 服务建立连接。这通常是由于网络问题、代理配置错误或 API 服务暂时不可用引起的。用`curl`进行连接测试： `curl https://api.openai.com/v1` 结果如下： `curl: (56) Received HTTP code 503 from proxy after CONNECT` 表明请求通过代理服务器时，代理返回了 503 Service Unavailable。这通常意味着代理服务器无法处理请求或代理本身有问题。以下是可能的原因及解决方法： - 代理服务器故障：代理服务器当前无法处理请求，可能因为过载、维护或配置错误。 - 网络连接问题：你的网络可能限制了对 OpenAI API 的直接访问，需要配置代理，但代理设置可能不正确或失效。 - 代理认证问题：如果代理服务器需要认证，认证失败也可能导致此错误。 - OpenAI API 服务中断：尽管这种情况不常见，OpenAI 服务器暂时不可用时，也可能返回 503 状态码。这里我认为是网络连接的问题。应该只差这一步了，前面都能够跑通。后续在课程中说了原来是平台上不能挂梯子，那没事了。这里用国产api沿着相同思路进行尝试。与上述使用密钥方式相同，如果没有使用 `export OPENAI_API_KEY=***** export ZHIPUAI_API_KEY=***** ` 来进行api-key的设置，需要在代码中使用关键词的方式进行替换。替换后使用`python3 call_glm4.py`的方式进行测试，得到结果 `root@w52b7a574407463db61ff4809d6eb6d0-task0-0:/code# python3 call_glm4.py To answer the question, you would need to write an SQL query that selects the `class` from the `table_name_12` where the `frequency_mhz` is greater than 91.5 and the `city_of_license` is 'hyannis, nebraska'. Here is the SQL query for that: ```sql SELECT class FROM table_name_12 WHERE frequency_mhz > '91.5' AND city_of_license = 'hyannis, nebraska'; ``` Note: Assuming the `frequency_mhz` field is stored as a string that can be compared with simple greater than (`>`) operator. If it's stored as a numeric type, there would be no need to include quotes around the number in the query.` 证明思路正确，完成了实验的复现。

e7c58f89b7dd20e8443a65601debeb8.png

48 KiB

993ea029438bedcd6d939d4318907c0.png

40 KiB

12390900721cs changed title from ~~调用国外大模型测试~~ to 调用国外大模型测试出现的问题

2024-09-12 13:54:53 +08:00

Sign in to join this conversation.