Groq进阶：使用TypeScript实现多模态应用的核心功能

引言

Groq是一种高性能的AI加速器，专为低延迟、高吞吐量的AI推理而设计。本文将介绍如何使用TypeScript结合Groq API实现多模态应用的核心功能，包括文本处理、图像识别和语音转换等。通过本教程，你将学会如何构建一个能够处理多种输入类型的智能应用。

准备工作

在开始之前，请确保你已具备以下条件：

Node.js 16+ 环境
TypeScript 4.7+
Groq API密钥（可在Groq官网申请）
基本的TypeScript知识

安装必要的依赖：

代码片段

npm install groq-sdk @types/node axios form-data
npm install -D typescript ts-node @types/axios

第一步：配置Groq客户端

首先创建一个groqClient.ts文件来初始化Groq客户端：

代码片段

import { Groq } from "groq-sdk";

// 初始化Groq客户端
const groq = new Groq({
    apiKey: process.env.GROQ_API_KEY || "你的API密钥",
});

// 确保API密钥存在
if (!process.env.GROQ_API_KEY) {
    console.warn("警告: 未设置GROQ_API_KEY环境变量");
}

export default groq;

注意事项：
– 永远不要将API密钥直接硬编码在代码中，应该使用环境变量
– Groq API有速率限制，开发时请注意调用频率

第二步：实现文本处理功能

创建textProcessor.ts文件实现文本分析功能：

代码片段

import groq from "./groqClient";

interface TextAnalysisResult {
    sentiment: "positive" | "neutral" | "negative";
    keywords: string[];
    summary: string;
}

export async function analyzeText(text: string): Promise<TextAnalysisResult> {
    try {
        const prompt = `
        分析以下文本：
        "${text}"

        请返回JSON格式的结果，包含：
        - sentiment: 情感分析(positive/neutral/negative)
        - keywords: 关键词数组(最多5个)
        - summary: 50字以内的摘要
        `;

        const response = await groq.chat.completions.create({
            messages: [{ role: "user", content: prompt }],
            model: "mixtral-8x7b-32768",
            response_format: { type: "json_object" },
            temperature: 0.7,
        });

        const result = JSON.parse(response.choices[0]?.message.content || "{}");

        // 验证返回结果结构
        if (!result.sentiment || !result.keywords || !result.summary) {
            throw new Error("无效的API响应格式");
        }

        return result as TextAnalysisResult;
    } catch (error) {
        console.error("文本分析失败:", error);
        throw error;
    }
}

原理说明：
1. 我们构造了一个特定的prompt要求模型返回JSON格式的结果
2. temperature参数控制输出的随机性(0-1)，值越高结果越多样
3. response_format确保返回的是结构化JSON数据

第三步：实现图像识别功能

创建imageProcessor.ts文件实现多模态图像识别：

“`typescript
import axios from “axios”;
import groq from “./groqClient”;
import FormData from “form-data”;

interface ImageAnalysisResult {
objects: Array<{
name: string;
confidence: number;
}>;
description: string;
dominantColors: string[];
}

export async function analyzeImage(imageUrlOrPath: string): Promise {
try {
// Step 1: 如果是本地文件，先上传到临时存储（实际应用中应使用云存储）
let imageUrl = imageUrlOrPath;

代码片段

    if (!imageUrlOrPath.startsWith("http")) {
        // 这里简化处理，实际项目应该上传到云存储服务
        console.warn("本地文件处理需要先上传到云存储");
        imageUrl = await uploadLocalImage(imageUrlOrPath);
    }

    // Step 2: 使用Groq进行图像分析
    const prompt = `
    分析这张图片：${imageUrl}

    请返回JSON格式的结果，包含：
    - objects: 检测到的对象数组(每个对象包含name和confidence)
    - description: 图片的详细描述(20-50字)
    - dominantColors: 主导颜色数组(HEX格式)

    注意：confidence是0-1之间的置信度分数。
    `;

    const response = await groq.chat.completions.create({
        messages: [{ 
            role: "user", 
            content: [
                { type: "text", text: prompt },
                { type: "image_url", image_url: { url: imageUrl } }
            ] 
        }],
        model: "mixtral-8x7b-32768",
        response_format: { type: "json_object" },
        max_tokens: 500,
    });

    const result = JSON.parse(response.choices[0]?.message.content || "{}");

    // Step 3：验证和转换结果
    if (!result.objects || !result.description) {
        throw new Error("无效的图像分析结果");
    }

    return {
        objects: result.objects.map((obj) => ({
            name, 
            confidence,
            ...obj,
            confidence, 
            confidence, 
            confidence, 
            confidence, 
            confidence, 
            confidence,