C#+LlamaFile：构建现代化数据提取解决方案

引言

在当今数据驱动的时代，从各种文件格式中高效提取结构化数据变得至关重要。本文将介绍如何结合C#和LlamaFile库构建一个现代化的数据提取解决方案。LlamaFile是一个强大的.NET库，专门用于处理各种文件格式的数据提取任务。

准备工作

环境要求

.NET 6.0或更高版本
Visual Studio 2022或VS Code
NuGet包管理器

安装LlamaFile

在项目中通过NuGet安装LlamaFile：

代码片段

dotnet add package LlamaFile --version 2.0.0

基础数据提取示例

让我们从一个简单的CSV文件提取开始：

代码片段

using LlamaFile;
using System;

class Program
{
    static void Main(string[] args)
    {
        // 1. 创建文件处理器实例
        var processor = new FileProcessor();

        // 2. 加载CSV文件
        var result = processor.Load("data.csv");

        // 3. 提取数据到DataTable
        var dataTable = result.ToDataTable();

        // 4. 输出结果
        foreach (System.Data.DataRow row in dataTable.Rows)
        {
            Console.WriteLine($"ID: {row["id"]}, Name: {row["name"]}, Value: {row["value"]}");
        }
    }
}

代码解释：

FileProcessor是LlamaFile的核心类，负责处理各种文件格式
Load方法会自动检测文件类型并解析内容
ToDataTable将解析结果转换为标准的DataTable对象

高级功能：自定义解析器

对于非标准格式的文件，我们可以创建自定义解析器：

代码片段

using LlamaFile.Parsers;
using System;

class CustomParser : IFileParser
{
    public ParseResult Parse(string filePath)
    {
        // 自定义解析逻辑
        var lines = File.ReadAllLines(filePath);
        var result = new ParseResult();

        foreach (var line in lines)
        {
            if (line.StartsWith("#")) continue; // 跳过注释行

            var parts = line.Split('|');
            if (parts.Length == 3)
            {
                result.AddRow(new {
                    Id = parts[0].Trim(),
                    Category = parts[1].Trim(),
                    Amount = decimal.Parse(parts[2])
                });
            }
        }

        return result;
    }
}

// 使用自定义解析器
var processor = new FileProcessor();
processor.RegisterParser(".custom", new CustomParser());
var result = processor.Load("data.custom");

Excel文件处理示例

LlamaFile对Excel有特别好的支持：

代码片段

var processor = new FileProcessor();

// Excel特定配置
var options = new ExcelOptions 
{
    SheetName = "Sheet1",       // 指定工作表名称
    HasHeaderRow = true,       // 是否包含标题行
    SkipEmptyRows = true       // 跳过空行
};

var result = processor.Load("data.xlsx", options);

// LINQ查询示例
var highValueItems = result.AsEnumerable()
                          .Where(row => row.GetField<decimal>("Price") > 100)
                          .OrderBy(row => row.GetField<string>("Name"));

PDF文本提取

从PDF中提取文本同样简单：

代码片段

var processor = new FileProcessor();

// PDF特定配置（可以指定页面范围）
var pdfOptions = new PdfOptions 
{
    StartPage = 1,
    EndPage = 5,
    ExtractMode = PdfExtractMode.TextWithLayout //保留布局信息
};

var pdfResult = processor.Load("document.pdf", pdfOptions);

// PDF通常返回纯文本，可以进一步处理：
foreach (var page in pdfResult.Pages)
{
    Console.WriteLine($"Page {page.PageNumber}:");
    Console.WriteLine(page.Text);
}

JSON数据处理

处理JSON数据时，可以直接映射到对象：

代码片段

public class Product 
{
    public int Id { get; set; }
    public string Name { get; set; }
    public decimal Price { get; set; }
}

var processor = new FileProcessor();
var jsonResult = processor.Load("products.json");

// JSON直接反序列化到对象列表
List<Product> products = jsonResult.ToObject<List<Product>>();

foreach (var product in products)
{
    Console.WriteLine($"{product.Id}: {product.Name} - ${product.Price}");
}

API响应处理

LlamaFile还可以直接处理API响应：

代码片段

using System.Net.Http;

var httpClient = new HttpClient();
var response = await httpClient.GetAsync("https://api.example.com/data");

// API响应可以是JSON、XML或CSV等格式，LlamaFile会自动识别并解析：
if (response.IsSuccessStatusCode)
{
    var stream = await response.Content.ReadAsStreamAsync();
    var apiResult = FileProcessor.FromStream(stream, "api-response.json"); //根据实际内容类型指定

    var dataTable = apiResult.ToDataTable();
}

性能优化技巧

批量处理：对于大量小文件，使用BatchProcess方法

代码片段

var filesDirectory = @"C:\data\files";
var results = FileProcessor.BatchProcess(filesDirectory, "*.csv");

foreach (var batchResult in results)
{
    // Process each file result...
}

并行处理：启用并行模式提高速度

代码片段

var options = new ProcessingOptions 
{
    ParallelProcessingEnabled = true,
    MaxDegreeOfParallelism = Environment.ProcessorCount -1 
};

processor.Options.Apply(options);

内存管理：对于大文件使用流式处理

代码片段

using (var streamReader = new StreamReader("largefile.csv"))
{    
    while (!streamReader.EndOfStream)    
    {        
        var lineBatchResults =
            await processor.ProcessStreamBatchAsync(streamReader, batchSize:1000);        

        foreach(var batch in lineBatchResults)        
        {            
            // Process batch...        
        }    
    }
}

常见问题解决

Q1: LlamaFile支持哪些文件格式？

A: LlamaFile支持CSV、Excel(XLS/XLSX)、JSON、XML、PDF、HTML等多种常见格式。

Q2: 如何处理编码问题？

A: LlamaFile会自动检测编码，也可以手动指定：

代码片段

processor.Options.DefaultEncoding =
     Encoding.GetEncoding("GB18030"); //中文编码示例

Q3: CSV文件中包含特殊字符怎么办？

A: CSV处理器提供多种转义选项：

代码片段

processor.Options.CsvOptions.EscapeMode =
     CsvEscapeMode.DoubleQuoteEscaped;

Q4: Excel日期格式转换问题？

A: Excel日期可以明确指定格式：

代码片段

row.GetField<DateTime>("DateColumn",
     "yyyy-MM-dd");

总结

通过本文我们学习了：
1. LlamaFile的基本用法和核心概念
2. C#与LlamaFile结合实现各种格式的数据提取
3.高级功能和性能优化技巧
4.常见问题的解决方案

LlamaFile的强大之处在于它统一了不同文件类型的处理接口，让开发者可以用一致的API访问各种数据源。无论是简单的CSV还是复杂的PDF文档，都能轻松应对。