云信AI部署

Llama 3与PHP结合：打造强大的数据提取系统

云信安装大师
90
AI 质量分
10 5 月, 2025
4 分钟阅读
0 阅读

Llama 3与PHP结合：打造强大的数据提取系统

引言

在当今数据驱动的时代，从各种来源高效提取和处理信息变得至关重要。本文将介绍如何将Meta最新开源的Llama 3大型语言模型与PHP结合，构建一个强大的数据提取系统。无论您需要从文档、网页还是其他非结构化数据中提取关键信息，这种组合都能提供灵活而强大的解决方案。

准备工作

在开始之前，请确保您已准备好以下环境：

  1. PHP 8.0或更高版本
  2. Composer（PHP依赖管理工具）
  3. Python 3.8+（用于运行Llama 3）
  4. 至少16GB内存的机器（Llama 3的最低要求）

安装必要组件

代码片段 
# 安装PHP Composer
curl -sS https://getcomposer.org/installer | php
mv composer.phar /usr/local/bin/composer

# 安装Python依赖
pip install torch transformers flask

第一步：设置Llama 3 API服务

由于Llama 3本身是用Python实现的，我们需要先创建一个简单的API服务来与PHP交互。

创建llama_api.py文件：

代码片段 
from flask import Flask, request, jsonify
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

app = Flask(__name__)

# 加载Llama 3模型（这里使用7B版本的小型模型）
model_name = "meta-llama/Meta-Llama-3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

@app.route('/extract', methods=['POST'])
def extract_data():
    try:
        data = request.json
        prompt = data['prompt']

        # 使用Llama处理提示词
        inputs = tokenizer(prompt, return_tensors="pt")
        outputs = model.generate(**inputs, max_new_tokens=100)

        response = tokenizer.decode(outputs[0], skip_special_tokens=True)

        return jsonify({
            'status': 'success',
            'response': response
        })
    except Exception as e:
        return jsonify({
            'status': 'error',
            'message': str(e)
        })

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

启动API服务：

代码片段 
python llama_api.py

注意事项：
1. Llama 3模型首次运行时会自动下载，可能需要较长时间和大量磁盘空间
2. 在生产环境中应考虑使用GPU加速
3. API没有身份验证，生产环境应添加安全措施

第二步：创建PHP客户端

现在我们将创建一个PHP类来与Llama API交互。

首先安装必要的PHP包：

代码片段 
composer require guzzlehttp/guzzle

创建LlamaClient.php：

代码片段 
<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use GuzzleHttp\Exception\GuzzleException;

class LlamaClient {
    private $client;
    private $apiUrl;

    public function __construct(string $apiUrl = 'http://localhost:5000') {
        $this->client = new Client();
        $this->apiUrl = $apiUrl;
    }

    /**
     * 发送提取请求到Llama API
     * 
     * @param string $prompt LLM提示词
     * @return array API响应数据
     */
    public function extractData(string $prompt): array {
        try {
            $response = $this->client->post($this->apiUrl . '/extract', [
                'json' => ['prompt' => $prompt],
                'headers' => ['Content-Type' => 'application/json']
            ]);

            return json_decode($response->getBody(), true);

        } catch (GuzzleException $e) {
            return [
                'status' => 'error',
                'message' => $e->getMessage()
            ];
        }
    }

    /**
     * 从文本中提取结构化数据的高级方法示例
     * 
     * @param string $text 要处理的原始文本
     * @param string $template JSON模板示例(可选)
     * @return array 提取的结构化数据
     */
    public function extractStructuredData(string $text, string $template = ''): array {
        // 构建LLM提示词 - Few-shot prompting技术示例
        $prompt = "请从以下文本中提取结构化信息。";

        if ($template) {
            $prompt .= "按照这个JSON格式返回结果: " . $template . "\n\n";
        }

        $prompt .= "文本内容:\n" . $text . "\n\n";
        $prompt .= "请只返回JSON格式的数据，不要包含任何解释或额外文字。";

        // LLAMA处理可能返回非纯JSON，这里添加简单处理逻辑
        return json_decode($this->extractData($prompt)['response'], true) ?? [];
    }
}

第三步：实际应用示例

让我们看一个完整的应用示例 – 从产品评论中提取关键信息。

创建example.php：

代码片段 
<?php

require 'LlamaClient.php';

// 初始化客户端
$llama = new LlamaClient();

// 示例产品评论文本（实际应用中可能来自数据库或API）
$reviewText = <<<TEXT
我最近购买了iPhone14 Pro Max手机，颜色是深空黑。
这款手机的屏幕非常出色，120Hz刷新率让滑动无比流畅。
相机系统专业级，4800万像素主摄拍照清晰。
电池续航一般般，重度使用需要一天两充。
价格9999元确实偏高，但性能强大值得考虑。
TEXT;

// JSON模板示例 - Few-shot learning帮助模型理解需求格式
$jsonTemplate = <<<JSON
{
    "product_name": "产品名称",
    "color": "颜色",
    "screen_quality": "屏幕质量评价",
    "camera_quality": "相机质量评价",
    "battery_life": "电池续航评价",
    "price": "价格"
}
JSON;

// 提取结构化数据并输出结果
$result = $llama->extractStructuredData($reviewText, $jsonTemplate);

echo "<h2>原始评论:</h2>";
echo "<pre>" . htmlspecialchars($reviewText) . "</pre>";

echo "<h2>提取的结构化数据:</h2>";
echo "<pre>" . print_r($result, true) . "</pre>";

实践经验分享：
1. Few-shot prompting（提供示例）可以显著提高LLM的输出质量
2. JSON模板帮助规范输出格式，便于后续处理程序解析使用
3. Llama有时会在JSON前后添加解释文字，我们的代码做了简单处理但不够完善

第四步：高级技巧与优化

A. Prompt工程优化

为了提高数据提取的准确性，我们可以优化提示词：

代码片段 
public function extractProductInfo(string $text): array {
    // System message设置LLM角色和行为模式更有效果    
    $systemMsg = <<<PROMPT        
你是一个专业的产品信息提取AI助手。你的任务是从用户提供的文本中准确识别和提取产品规格、特征和评价。
请严格遵循以下规则:
1.只返回JSON格式的数据  
2.所有字段值必须直接来自原文  
3.如果信息不存在则留空  
4.JSON结构必须保持一致

产品数据结构如下:
{
"product_name":"", 
"brand":"", 
"color":"", 
"specs":{
   "screen":"", 
   "camera":"", 
   "battery":""
},
"price":"",
"pros":[],
"cons":[]
}
PROMPT;

    // User message包含实际要处理的文本    
    return json_decode(
       $this->extractData($systemMsg."\n\n".$text)['response'],
       true);
}

B. PHP端缓存实现

LLM推理计算量大且耗时，合理使用缓存能显著提升性能：

代码片段 
class CachedLlamaClient extends LlamaClient {

    private CacheInterface $cache;

    public function __construct(CacheInterface $cache, string $apiUrl) {
         parent::__construct($apiUrl);
         //可以使用Redis、Memcached等实现CacheInterface接口的缓存系统         
         //这里简化演示使用文件缓存         
         if(!$cache instanceof CacheInterface){
             throw new InvalidArgumentException("必须实现CacheInterface");
         }
         $this->cache = cache;
   }

   public function extractData(string prompt): array {      
       //生成缓存键 - MD5哈希保证唯一性       
       cacheKey md5(prompt);

       if(this->cache->has(cacheKey)){
           return this->cache-get(cacheKey);
       }

       result parent::extractData(prompt);

       //成功结果才缓存       
       if(result['status'] === success){
           this-cache-set(cacheKey result);  
       }

       return result;  
   } 
}

C.批量处理与队列集成

对于大规模数据处理建议采用队列系统:

代码片段 
// Laravel队列任务示例  
class ProcessDocuments implements ShouldQueue {   

 use Dispatchable InteractsWithQueue Queueable SerializesModels;   

 protected documents;     

 public function __construct(array documents){   
      this-documents documents;   
 }     

 public function handle(LlamaClient client){   
      foreach(this-documents as doc){   
           try{   
                data client-extractStructuredData(doc-content);   

                //保存到数据库或输出到文件等  
                Document::find(doc-id)->update([   
                     extracted_data json_encode(data),   
                     processed_at now()   
                ]);   
           }catch(Exception e){   
                Log::error("文档处理失败: ".doc-id e-getMessage());   
           }      
      }     
 }  
}  

//调用方式(假设1000个文档需要处理)  
ProcessDocuments::dispatch(documents)->onQueue('llm-processing');

常见问题解决

1.模型加载失败
-确保有足够的RAM(至少16GB)
-检查transformers库版本是否支持Llama3

2.API响应慢
-考虑减小maxnewtokens参数值(默认100可能过大)
-启用CUDA加速如果有NVIDIA GPU

3.JSON解析错误
-Llama有时会在JSON外添加解释文字导致解析失败
-解决方案:用正则表达式先提取JSON部分

代码片段 
function extractJsonFromResponse(string response): ?array {     
   preg_match('/\{.*\}/s', response matches);     
   return matches[0] ? json_decode(matches[0], true) : null;     
}

4.中文支持问题
-Llama对中文支持良好但提示词最好中英混合书写效果更佳

总结

通过本文我们学习了:

✅如何搭建基于Python Flask的Llama API服务层
✅开发功能完善的PHP客户端类封装核心功能
✅实践Few-shot prompting技术提高输出质量规范度
✅掌握缓存、队列等生产环境必备优化技巧

这种架构的优势在于:

🔹利用LLM强大理解能力处理各种非结构化数据源
🔹通过API层隔离技术栈差异使PHP应用轻松集成AI能力
🔹灵活可扩展可应用于CRM、电商、内容分析等多种场景

完整代码已托管在GitHub:[仓库链接]欢迎Star和贡献!

原创 高质量