HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

关于《医疗大语言模型实践》项目背景的咨询-林希老师 #680

New Issue
Open
opened 2025-04-07 08:39:33 +08:00 by hope_hql · 2 comments
hope_hql commented 2025-04-07 08:39:33 +08:00
Copy Link

关于《医疗大语言模型实践》项目背景有几个问题，麻烦老师帮忙回答下？
1.项目全部功能介绍，如果只有艾滋病条带检查功能，该项目太单薄
2.如果作为面试项目，条带检测功能，可能并不需要引入大模型，引入大模型的必要性是什么？
3.该项目的使用场景是哪里？医生使用么？如果医生使用，医生一眼就可以分辨，这样做的必要性是什么？
4.做该项目时候，遇到了那些难点问题，以及是怎么解决的

关于《医疗大语言模型实践》项目背景有几个问题，麻烦老师帮忙回答下？ 1.项目全部功能介绍，如果只有艾滋病条带检查功能，该项目太单薄 2.如果作为面试项目，条带检测功能，可能并不需要引入大模型，引入大模型的必要性是什么？ 3.该项目的使用场景是哪里？医生使用么？如果医生使用，医生一眼就可以分辨，这样做的必要性是什么？ 4.做该项目时候，遇到了那些难点问题，以及是怎么解决的
linhui commented 2025-04-07 23:10:33 +08:00
Copy Link
  1. 这个项目的主要目的式提供了学员们一个新的思路去使用大模型来处理多模态数据，因为对于任何多模态大模型对于绝大部分医疗数据是无法直接回答的。
  2. 引入大模型主要是使用到大模型的推理以及汇总能力，首先可以通过对条带的识别结果以及知识库的判定规则判断条带的类型，然后使用大模型的汇总能力来给患者一个比较恰当的回答。
  3. 条带这个场景主要是使用在一个疾病防控中心，用来批量的检测患者的诊断结果，这样可以让患者更加快速的获得诊断结果。
  4. 第一个难点是数据处理的难点，由于图片的特殊性，首先直接通过图片理解大模型是无法处理图片的，解决方法是使用图片预处理的方法以及视觉领域的深度学习模型用来先判定图片中的点位，然后再进行处理；第二个难点是在使用大模型的过程中如何构造条带判定规则，解决方法是对判定规则进行更加严谨的调试，让大模型能够准确无误的理解判定规则，这个需要多次的调试与构造。
1. 这个项目的主要目的式提供了学员们一个新的思路去使用大模型来处理多模态数据，因为对于任何多模态大模型对于绝大部分医疗数据是无法直接回答的。 2. 引入大模型主要是使用到大模型的推理以及汇总能力，首先可以通过对条带的识别结果以及知识库的判定规则判断条带的类型，然后使用大模型的汇总能力来给患者一个比较恰当的回答。 3. 条带这个场景主要是使用在一个疾病防控中心，用来批量的检测患者的诊断结果，这样可以让患者更加快速的获得诊断结果。 4. 第一个难点是数据处理的难点，由于图片的特殊性，首先直接通过图片理解大模型是无法处理图片的，解决方法是使用图片预处理的方法以及视觉领域的深度学习模型用来先判定图片中的点位，然后再进行处理；第二个难点是在使用大模型的过程中如何构造条带判定规则，解决方法是对判定规则进行更加严谨的调试，让大模型能够准确无误的理解判定规则，这个需要多次的调试与构造。
hope_hql commented 2025-04-08 08:44:47 +08:00
Author
Copy Link
  1. 这个项目的主要目的式提供了学员们一个新的思路去使用大模型来处理多模态数据，因为对于任何多模态大模型对于绝大部分医疗数据是无法直接回答的。
  2. 引入大模型主要是使用到大模型的推理以及汇总能力，首先可以通过对条带的识别结果以及知识库的判定规则判断条带的类型，然后使用大模型的汇总能力来给患者一个比较恰当的回答。
  3. 条带这个场景主要是使用在一个疾病防控中心，用来批量的检测患者的诊断结果，这样可以让患者更加快速的获得诊断结果。
  4. 第一个难点是数据处理的难点，由于图片的特殊性，首先直接通过图片理解大模型是无法处理图片的，解决方法是使用图片预处理的方法以及视觉领域的深度学习模型用来先判定图片中的点位，然后再进行处理；第二个难点是在使用大模型的过程中如何构造条带判定规则，解决方法是对判定规则进行更加严谨的调试，让大模型能够准确无误的理解判定规则，这个需要多次的调试与构造。

感谢老师解答

> 1. 这个项目的主要目的式提供了学员们一个新的思路去使用大模型来处理多模态数据，因为对于任何多模态大模型对于绝大部分医疗数据是无法直接回答的。 > 2. 引入大模型主要是使用到大模型的推理以及汇总能力，首先可以通过对条带的识别结果以及知识库的判定规则判断条带的类型，然后使用大模型的汇总能力来给患者一个比较恰当的回答。 > 3. 条带这个场景主要是使用在一个疾病防控中心，用来批量的检测患者的诊断结果，这样可以让患者更加快速的获得诊断结果。 > 4. 第一个难点是数据处理的难点，由于图片的特殊性，首先直接通过图片理解大模型是无法处理图片的，解决方法是使用图片预处理的方法以及视觉领域的深度学习模型用来先判定图片中的点位，然后再进行处理；第二个难点是在使用大模型的过程中如何构造条带判定规则，解决方法是对判定规则进行更加严谨的调试，让大模型能够准确无误的理解判定规则，这个需要多次的调试与构造。 感谢老师解答
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#680
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?