# 在Ubuntu/Debian系统上
sudo apt-get update
sudo apt-get install -y build-essential cmake git python3 python3-pip

# 安装Mistral AI Python包
pip install transformers torch sentencepiece

data_extractor/
├── CMakeLists.txt
├── src/
│   ├── main.cpp
│   └── mistral_wrapper.py
└── data/
    └── sample.txt

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

class MistralExtractor:
    def __init__(self):
        # 加载预训练的Mistral模型和分词器
        self.model_name = "mistralai/Mistral-7B-v0.1"
        self.tokenizer = AutoTokenizer.from_pretrained(self.model_name)
        self.model = AutoModelForCausalLM.from_pretrained(self.model_name)

    def extract_info(self, text, prompt_template):
        """
        使用Mistral模型从文本中提取信息

        参数:
            text: 要处理的原始文本
            prompt_template: 指导模型如何提取信息的提示模板

        返回:
            提取的信息
        """
        # 构造完整的提示词
        full_prompt = prompt_template.format(text=text)

        # 编码输入文本
        inputs = self.tokenizer(full_prompt, return_tensors="pt")

        # 生成输出
        with torch.no_grad():
            outputs = self.model.generate(**inputs, max_length=200)

        # 解码输出并返回结果
        return self.tokenizer.decode(outputs[0], skip_special_tokens=True)

if __name__ == "__main__":
    # 测试代码
    extractor = MistralExtractor()
    sample_text = "苹果公司于1976年4月1日由史蒂夫·乔布斯、史蒂夫·沃兹尼亚克和罗纳德·韦恩创立。"
    prompt = "从以下文本中提取公司名称、创始人和成立日期:\n{text}\n\n提取结果:"

    result = extractor.extract_info(sample_text, prompt)
    print(result)

#include <iostream>
#include <string>
#include <fstream>
#include <cstdlib> // for system()

// Python解释器头文件（需要安装python3-dev）
#include <Python.h>

// 读取文件内容到字符串的函数
std::string read_file(const std::string& file_path) {
    std::ifstream file(file_path);
    if (!file.is_open()) {
        std::cerr << "无法打开文件: " << file_path << std::endl;
        return "";
    }

    std::string content((std::istreambuf_iterator<char>(file)), 
                        std::istreambuf_iterator<char>());
    return content;
}

// 调用Python函数进行信息提取的封装函数
std::string extract_with_mistral(const std::string& text) {
    // 初始化Python解释器
    Py_Initialize();

    // 添加当前目录到Python路径（确保能找到我们的包装器）
    PyRun_SimpleString("import sys");
    PyRun_SimpleString("sys.path.append('.')");

    // 导入我们的Python模块
    PyObject* pModule = PyImport_ImportModule("mistral_wrapper");

    if (pModule != nullptr) {
        // 获取MistralExtractor类引用
        PyObject* pClass = PyObject_GetAttrString(pModule, "MistralExtractor");

        if (pClass != nullptr) {
            // 创建MistralExtractor实例
            PyObject* pInstance = PyObject_CallObject(pClass, NULL);

            if (pInstance != nullptr) {
                // 准备调用extract_info方法所需的参数
                std::string prompt_template = 
                    "从以下文本中提取关键信息:\n{text}\n\n提取结果:";

                PyObject* pTextArg = PyUnicode_FromString(text.c_str());
                PyObject* pPromptArg = PyUnicode_FromString(prompt_template.c_str());

                // 调用extract_info方法
                PyObject* pResult = PyObject_CallMethod(
                    pInstance, 
                    "extract_info", 
                    "(OO)", 
                    pTextArg, 
                    pPromptArg);

                if (pResult != nullptr) {
                    // 将结果转换为C++字符串并返回
                    const char* result_cstr = PyUnicode_AsUTF8(pResult);
                    std::string result(result_cstr);

                    // 清理Python对象引用计数
                    Py_DECREF(pResult);
                    Py_DECREF(pTextArg);
                    Py_DECREF(pPromptArg);
                    Py_DECREF(pInstance);
                    Py_DECREF(pClass);
                    Py_DECREF(pModule);

                    // 关闭Python解释器（注意：一旦关闭后不能再初始化）
                    //Py_Finalize();

                    return result;
                }
            }
        }

        // 错误处理：打印Python错误信息（如果有）
        if (PyErr_Occurred()) {
            PyErr_Print();
        }

        // Clean up in case of error (部分清理)
        if (pModule) { Py_DECREF(pModule); }
    }

    // Finalize the interpreter if we're done with it completely.
    //Py_Finalize();

    return "[Error] Failed to extract information";
}

int main() {
    // Step1:读取输入文件（假设放在data/sample.txt）
    std::string input_text = read_file("data/sample.txt");

    if (input_text.empty()) {
        std::cerr << "输入文件为空或读取失败" << std::endl;
        return -1;
    }

    std::cout << "\n原始文本内容:\n" << input_text << "\n\n";

    // Step2:使用Mistral AI进行信息提取

     try {
         std::cout << "正在使用Mistral AI处理文本..." << std::endl;
         auto result = extract_with_mistral(input_text);

         std::cout << "\n提取结果:\n" << result << "\n\n";
     } catch (const std::exception& e) {
         std::cerr << "处理过程中发生错误: " << e.what() << std::endl;
         return -1;
     }

     return 0;
}

cmake_minimum_required(VERSION 3.10)
project(DataExtractor)

# C++17标准要求，因为我们要使用一些现代特性如filesystem等。
set(CMAKE_CXX_STANDARD_REQUIRED ON)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# Python配置（需要找到Python开发库）
find_package(Python REQUIRED COMPONENTS Development)

# Python库包含路径和链接库配置（自动检测）
include_directories(${Python_INCLUDE_DIRS})

add_executable(data_extractor src/main.cpp)

# Python库链接设置（根据系统自动配置）
target_link_libraries(data_extractor ${Python_LIBRARIES})

# C++标准库链接（可能需要根据平台调整）
if(UNIX AND NOT APPLE)
    target_link_libraries(data_extractor pthread dl util)
endif()

微软公司(Microsoft Corporation)是一家美国跨国科技公司，由比尔·盖茨和保罗·艾伦于1975年4月4日创立。
公司总部位于华盛顿州雷德蒙德市，主要产品包括Windows操作系统、Office办公软件套件和Azure云服务。
2023财年，微软报告收入为2119亿美元。

mkdir build && cd build

# Linux/macOS构建命令：
cmake .. && make

# Windows构建命令：
cmake .. -G "MinGW Makefiles" && cmake --build .

# Windows用户可能需要指定生成器：
cmake .. -G "Visual Studio xx xx" && cmake --build . --config Release

# Windows用户如果遇到问题可以尝试：
cmake .. -G "NMake Makefiles" && cmake --build .

./data_extractor   # Linux/macOS用户使用此命令执行程序

.\Release\data_extractor.exe   # Windows用户使用此命令执行程序(如果是VS生成的话)

.\data_extractor.exe   # Windows用户使用MinGW或NMake生成的话可能直接这样执行即可。

原始文本内容:
微软公司(Microsoft Corporation)是一家美国跨国科技公司，由比尔·盖茨和保罗·艾伦于1975年4月4日创立。
公司总部位于华盛顿州雷德蒙德市，主要产品包括Windows操作系统、Office办公软件套件和Azure云服务。
2023财年，微软报告收入为2119亿美元。


正在使用Mistral AI处理文本...

提取结果:
公司名称: Microsoft Corporation(微软公司)
创始人: Bill Gates(比尔·盖茨), Paul Allen(保罗·艾伦)
成立日期: April4,1975年4月4日创立.
总部位置: Redmond,Washin gton State(华盛顿州雷德蒙德市).
主要产品:-Windows operating system-Windows操作系统.
          -Office productivity suite-Office办公软件套件.
          -Azure cloud services-Azure云服务.
2023财年收入:$2119亿美元.

//线程安全输出锁保护区段开始{
std::lock_guard<stdmutex> lock(cout_mutex);  
stdcout<<"\n=====分块处理结果=====\n"<<result<<"\n";  
//}锁保护区段结束

//Step2b:(可选)多线程分块处理  
if(false){//设为true启用此功能  
    const size_t chunk_size=500;//每个块大约500字符  
    stdvector<stdthread> threads;  

    for(size_t i=0;i<input_text.length();i+=chunk_size){  
        size_t end_pos=stdmin(i+chunk_size,input_text.length());  
        stdstring chunk=input_text.substr(i,end_pos-i);  

        threads.emplace_back(process_chunk,chunk);  
    }  

    for(auto& t : threads){ t.join(); }  
} else { /*原有单线程处理逻辑*/ }  

return0;

### B.添加自定义实体类型识别:

修改`mistral_wrapper.py`,添加以下方法:

```python {hl_lines=["20-30"]}
def extract_custom_entities(self, text, entity_types):
    """
    自定义实体类型识别

    参数:
        text:输入文本字符串  
        entity_types:[("产品","产品名称"),("人物","人名"),...]格式列表

    返回:
        结构化JSON格式结果字符串  
    """
    prompt="请从以下文本中识别指定类型的实体:\n"+text+"\n\n需要识别的实体类型有:\n"

    for et in entity_types:
        prompt+=f"-{et[0]}:{et[1]}\n"

    prompt+="\n请以JSON格式返回识别结果。"

    try:
        inputs=self.tokenizer(prompt,return_tensors="pt",truncation=True,max_length=1024)
        outputs=self.model.generate(**inputs,max_new_tokens=200,temperature=0.7)
        return self.tokenizer.decode(outputs[0],skip_special_tokens=True)
    except Exception as e:
        return f'{{"error":"{str(e)}"}}'