pip install langchain openai python-dotenv pandas

smart_qa_system/
│── .env            # 存储API密钥等敏感信息
│── config.py       # 配置文件
│── main.py         # 主程序入口
│── utils/          # 工具函数
│   └── preprocess.py # 数据预处理
└── tests/          # 测试用例

OPENAI_API_KEY=your-api-key-here

from langchain.chat_models import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.chains import LLMChain
from dotenv import load_dotenv
import os

# 加载环境变量
load_dotenv()

# 初始化大语言模型（这里使用gpt-3.5-turbo）
llm = ChatOpenAI(
    temperature=0, 
    model_name="gpt-3.5-turbo",
    openai_api_key=os.getenv("OPENAI_API_KEY")
)

# 定义质检评估的提示模板
qa_evaluation_template = """
你是一位专业的客服质量评估专家。请根据以下对话内容进行评估：

**对话记录**:
{conversation}

**评估标准**:
1. 响应速度 (0-10分)
2. 问题解决能力 (0-10分) 
3. 礼貌用语 (0-10分)
4. 专业知识 (0-10分)

请按照以下格式输出评估结果:
1. [响应速度]: [分数] - [评语]
2. [问题解决能力]: [分数] - [评语]
3. [礼貌用语]: [分数] - [评语]
4. [专业知识]: [分数] - [评语]

**综合评价**: [总体评价]
"""

prompt = ChatPromptTemplate.from_template(qa_evaluation_template)
evaluation_chain = LLMChain(llm=llm, prompt=prompt)

def analyze_conversation(conversation_text):
    """
    分析客服对话并生成质检报告

    参数:
        conversation_text: str - 完整的客服对话文本

    返回:
        dict - 包含评分和评语的字典
    """
    try:
        result = evaluation_chain.run(conversation=conversation_text)
        return parse_evaluation_result(result)
    except Exception as e:
        print(f"分析过程中出错: {str(e)}")
        return None

def parse_evaluation_result(text):
    """
    解析评估结果的文本为结构化数据

    参数:
        text: str - LLM返回的评估文本

    返回:
        dict - 结构化的评估结果
    """
    lines = text.split('\n')
    evaluation = {}

    for line in lines:
        if line.strip() and ':' in line:
            key_part, value_part = line.split(':', 1)
            key = key_part.strip()
            value_parts = value_part.split('-', 1)

            score = value_parts[0].strip()
            comment = value_parts[1].strip() if len(value_parts) > 1 else ""

            evaluation[key] = {
                'score': score,
                'comment': comment
            }

    return evaluation

import pandas as pd

def batch_process_csv(input_file, output_file):
    """
    批量处理CSV文件中的对话记录

    参数:
        input_file: str - 输入CSV文件路径
        output_file: str - 输出CSV文件路径

    返回:
        无，结果将保存到输出文件中
    """
    df = pd.read_csv(input_file)

    results = []

    for index, row in df.iterrows():
        conversation_id = row['conversation_id']
        conversation_text = row['conversation_text']

        print(f"正在处理对话 {conversation_id}...")

        evaluation = analyze_conversation(conversation_text)

        if evaluation:
            row_data = {
                'conversation_id': conversation_id,
                'response_speed_score': evaluation.get('响应速度', {}).get('score'),
                'response_speed_comment': evaluation.get('响应速度', {}).get('comment'),
                # ...其他字段类似添加...
                'overall_evaluation': evaluation.get('综合评价', '')
            }
            results.append(row_data)

    result_df = pd.DataFrame(results)
    result_df.to_csv(output_file, index=False)

# main.py

from config import llm, evaluation_chain, parse_evaluation_result, analyze_conversation, batch_process_csv

if __name__ == "__main__":
    # Example conversation for testing
    test_conversation = """
    客户:你好，我的订单还没收到，能帮我查一下吗？
    客服:您好！很抱歉给您带来不便。请问您的订单号是多少？
    客户:是ORD12345678。
    客服:感谢提供。我查到您的订单已于昨天发货，预计明天送达。
    客户:好的，谢谢。
    客服:不客气！如果还有其他问题随时联系我们。祝您生活愉快！
    """

    # Single conversation analysis example
    print("正在分析测试对话...")
    result = analyze_conversation(test_conversation)

    print("\n=== Quality Assessment Report ===")
    for key, value in result.items():
        if key != "综合评价":
            print(f"{key}: {value['score']}分")
            print(f"评语: {value['comment']}\n")

    print(f"综合评价: {result.get('综合评价', '')}")

    # Batch processing example (uncomment to use)
    # batch_process_csv("input_conversations.csv", "output_results.csv")

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def safe_api_call(chain_instance, input_data):
    return chain_instance.run(**input_data)

from langchain.cache import InMemoryCache  
from langchain.globals import set_llm_cache  

set_llm_cache(InMemoryCache())