云信AI部署

基于Python和LangChain的医疗对话评估

云信安装大师
90
AI 质量分
4 5 月, 2025
3 分钟阅读
0 阅读

基于Python和LangChain的医疗对话评估

引言

在医疗领域，AI对话系统的准确性和专业性至关重要。本文将介绍如何使用Python和LangChain框架构建一个医疗对话评估系统，帮助开发者测试和优化医疗AI助手的回答质量。

准备工作

环境要求

  • Python 3.8+
  • pip包管理工具
  • OpenAI API密钥(或其他LLM服务密钥)

安装依赖

代码片段 
pip install langchain openai tqdm pandas numpy

核心概念

LangChain是什么？

LangChain是一个用于构建基于语言模型应用的框架，它提供了:
1. 标准化的接口连接不同LLM
2. 对话链(Chains)的构建工具
3. 记忆(Memory)管理
4. 评估(Evaluation)工具

医疗对话评估的关键指标

  1. 准确性 – 医学事实是否正确
  2. 完整性 – 是否覆盖关键信息
  3. 安全性 – 是否包含免责声明
  4. 同理心 – 表达是否恰当

实现步骤

1. 构建基础问答链

代码片段 
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from langchain.llms import OpenAI

# 初始化LLM (替换为你的API密钥)
llm = OpenAI(openai_api_key="your-api-key", temperature=0.7)

# 定义医疗问答模板
medical_template = """你是一位专业的医疗AI助手，请回答以下问题:
问题: {question}
回答:"""

prompt = PromptTemplate(
    template=medical_template,
    input_variables=["question"]
)

# 创建问答链
medical_chain = LLMChain(llm=llm, prompt=prompt)

2. 创建评估器

代码片段 
from langchain.evaluation import load_evaluator

# 加载标准评估器 (可以自定义)
accuracy_evaluator = load_evaluator("labeled_score_string", 
                                  criteria="accuracy",
                                  llm=llm)

empathy_evaluator = load_evaluator("labeled_score_string",
                                 criteria="empathy",
                                 llm=llm)

3. 执行评估流程

代码片段 
def evaluate_response(question, reference_answer):
    # AI生成回答
    generated_answer = medical_chain.run(question=question)

    # 准确性评估
    accuracy_result = accuracy_evaluator.evaluate_strings(
        prediction=generated_answer,
        reference=reference_answer,
        input=question
    )

    # 同理心评估  
    empathy_result = empathy_evaluator.evaluate_strings(
        prediction=generated_answer,
        reference=None, 
        input=question
    )

    return {
        "question": question,
        "generated_answer": generated_answer,
        "accuracy_score": accuracy_result["score"],
        "empathy_score": empathy_result["score"],
        "accuracy_reasoning": accuracy_result["reasoning"],
        "empathy_reasoning": empathy_result["reasoning"]
    }

4. 批量测试与结果分析

代码片段 
import pandas as pd

# 测试数据集 (实际使用时可以从文件加载)
test_cases = [
    {
        "question": "感冒了应该吃什么药？",
        "reference": """普通感冒通常不需要特殊药物治疗。建议多休息、多喝水。\
如果症状严重，可以咨询医生后使用对症药物如退烧药或止咳药。\
注意：本建议不能替代专业医疗诊断"""
    },
    # ...更多测试案例...
]

results = []
for case in test_cases:
    result = evaluate_response(case["question"], case["reference"])
    results.append(result)

# 转换为DataFrame方便分析
df = pd.DataFrame(results)
print(df[["question", "accuracy_score", "empathy_score"]])

进阶优化

自定义评估标准

代码片段 
from langchain.evaluation import EvaluatorType, load_evaluator

safety_criteria = {
    "disclaimer": "回答是否包含适当的免责声明",
    "risk_avoidance": "是否避免给出高风险建议"
}

safety_evaluator = load_evaluator(
    EvaluatorType.LABELED_CRITERIA,
    criteria=safety_criteria,
    llm=llm,
)

RAG增强的医疗问答

代码片段 
from langchain.document_loaders import TextLoader 
from langchain.text_splitter import CharacterTextSplitter 
from langchain.embeddings import OpenAIEmbeddings 
from langchain.vectorstores import FAISS 

# 加载医学知识库 (示例使用文本文件，实际可用专业数据库)
loader = TextLoader("medical_knowledge.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
docs = text_splitter.split_documents(documents)

# 创建向量存储 
db = FAISS.from_documents(docs, OpenAIEmbeddings())

# RAG增强的问答链 
def rag_medical_response(question):
    relevant_docs = db.similarity_search(question, k=2)
    context = "\n".join([doc.page_content for doc in relevant_docs])

    augmented_prompt = f"""基于以下医学知识:
{context}
请专业地回答这个问题: {question}"""

    return medical_chain.run(question=augmented_prompt)

实践经验与注意事项

  1. API成本控制

    • LLM调用可能产生费用，建议在开发阶段设置预算限制
      代码片段 
      from langchain.callbacks import get_openai_callback

with get_openai_callback() as cb:
    response = medical_chain.run("头痛怎么办?")
    print(f"本次调用消耗: {cb.total_cost}美元")<br>

  2. 敏感信息处理

    • HIPAA合规性要求避免处理个人健康信息(PHI)

  3. 结果可视化

    代码片段 
    import matplotlib.pyplot as plt 

plt.figure(figsize=(10,5))
plt.bar(df.index, df['accuracy_score'], label='准确性')
plt.bar(df.index, df['empathy_score'], bottom=df['accuracy_score'], label='同理心')
plt.xlabel('测试案例')
plt.ylabel('评分')
plt.title('医疗对话评估结果')
plt.legend()
plt.show()

  4. 常见问题解决

    • API连接失败：检查网络和API密钥有效性
    • RAM不足：减少文本分块大小或使用更小的嵌入模型
    • LLM幻觉：增加知识库检索(RAG)或设置更低的temperature值

总结

本文介绍了：
1. LangChain框架在医疗对话评估中的应用
2. Python实现的完整评估流程
3. RAG增强的专业问答系统
4. API成本控制和结果可视化技巧

关键点回顾：
– LangChain提供了便捷的LLM集成和评估工具
– RAG架构能显著提升回答的专业性
– Multi-criteria评估确保回答质量全面达标

完整代码已上传GitHub仓库：[示例仓库链接]

下一步可以尝试：
1.集成更多医学知识源(PubMed等)
2.添加更细粒度的评估维度
3.部署为自动化测试服务

原创 高质量