实时网页信息爬取+RAG的问答系统搭建 【复现贴】 #57

New Issue

Open

opened 2025-01-02 15:54:10 +08:00 by GANGUAGUA · 0 comments

GANGUAGUA commented 2025-01-02 15:54:10 +08:00

Copy Link

安装环境

wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.5.2-0-Linux-x86_64.sh

创建并激活conda环境

conda create -n db python=3.10 #db是自己给环境取得名字
conda activate db #激活conda

安装依赖库

在conda环境内安装依赖库：

pip install pyway -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install loguru -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install dbutils -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple

可以通过conda list来查安装了哪些包

使用Xinference部署模型

语言模型

嵌入模型

用OneAPI接入模型

启动FastGPT

转到fastgpt目录下，启动fastgpt

cd fastgpt
docker-compose up -d

修改文件

.pyway.conf

dockers-compose.yml

• 修改镜像源

• 修改docker compose版本号

可通过docker-compose --version来查看docker compose的版本号

rag_api_utils.py

修改API Key与API根目录

• 获取API key

• 获取API根目录

粘贴到rag_api_utils.py文件里

main.py

• 修改服务器ip
• 修改端口号
• 修改数据库名字

• 修改cookie

登录天眼查

按F2获取Cookie

启动数据库容器

cd db_docker
sudo su
docker compose up -d

查看容器日志确认数据库已启动

docker logs -f tianyancha_db_prod_test

创建数据表

要在刚刚创建的conda环境下执行

conda activate db
cd db_create
pyway migrate

# 安装环境 ```plain wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.5.2-0-Linux-x86_64.sh ```  # 创建并激活conda环境 ```plain conda create -n db python=3.10 #db是自己给环境取得名字 conda activate db #激活conda ```    # 安装依赖库 <u>在conda环境内</u>安装依赖库： ```plain pip install pyway -i https://pypi.tuna.tsinghua.edu.cn/simple pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple pip install tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple pip install loguru -i https://pypi.tuna.tsinghua.edu.cn/simple pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple pip install dbutils -i https://pypi.tuna.tsinghua.edu.cn/simple pip install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 可以通过`conda list`来查安装了哪些包 # 使用Xinference部署模型 语言模型   嵌入模型   # 用OneAPI接入模型   # 启动FastGPT 转到fastgpt目录下，启动fastgpt ```plain cd fastgpt docker-compose up -d ``` # 修改文件 ## .pyway.conf   ## dockers-compose.yml + 修改镜像源    + 修改docker compose版本号 可通过`docker-compose --version`来查看docker compose的版本号  ## rag_api_utils.py 修改API Key与API根目录  + 获取API key   + 获取API根目录  粘贴到rag_api_utils.py文件里  ## main.py + 修改服务器ip + 修改端口号 + 修改数据库名字  + 修改cookie 登录天眼查  按F2获取Cookie   # 启动数据库容器 ```plain cd db_docker sudo su docker compose up -d ```   查看容器日志确认数据库已启动 ```plain docker logs -f tianyancha_db_prod_test ```  # 创建数据表 要在刚刚创建的conda环境下执行 ```plain conda activate db cd db_create pyway migrate ```              

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels

No items

No Label

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_share#57

No description provided.