ThinkPHP导出大文件技巧-高效处理大数据量导出的实用方法

在使用 ThinkPHP 框架导出大文件时，需要特别注意内存管理和执行效率，以避免内存溢出或超时问题。以下是一些实用的技巧和实践：

1. 使用流式输出

对于大文件，一次性加载到内存再输出是不可取的。可以通过流式输出的方式，逐行或分块生成文件内容并直接输出到浏览器。

示例：导出 CSV 文件

public function exportCsv()
{
    // 设置响应头
    header('Content-Type: text/csv');
    header('Content-Disposition: attachment;filename="export.csv"');

    // 打开 PHP 输出流
    $fp = fopen('php://output', 'w');

    // 写入 CSV 表头
    fputcsv($fp, ['ID', 'Name', 'Email']);

    // 假设从数据库获取大量数据
    $pageSize = 1000; // 每次查询 1000 条
    $page = 1;

    do {
        // 分页查询数据
        $data = Db::name('users')
            ->page($page, $pageSize)
            ->select();

        if (!empty($data)) {
            foreach ($data as $row) {
                fputcsv($fp, [$row['id'], $row['name'], $row['email']]);
            }
            $page++;
        } else {
            break;
        }

        // 清理内存
        ob_flush();
        flush();
    } while (true);

    fclose($fp);
    exit;
}

优点：
- 避免一次性加载大量数据到内存。
- 逐行输出，适合处理超大数据量。

2. 分块处理数据

如果数据量非常大，可以通过分块查询数据库，每次处理一小部分数据，减少内存占用。

示例：分块导出 Excel

使用第三方库（如 PhpSpreadsheet）时，可以结合分块查询：

use PhpOffice\PhpSpreadsheet\Spreadsheet;
use PhpOffice\PhpSpreadsheet\Writer\Xlsx;

public function exportExcel()
{
    $spreadsheet = new Spreadsheet();
    $sheet = $spreadsheet->getActiveSheet();
    $sheet->setTitle('Users');

    // 设置表头
    $sheet->setCellValue('A1', 'ID');
    $sheet->setCellValue('B1', 'Name');
    $sheet->setCellValue('C1', 'Email');

    $row = 2; // 从第二行开始写入数据
    $pageSize = 1000;
    $page = 1;

    do {
        $data = Db::name('users')
            ->page($page, $pageSize)
            ->select();

        if (!empty($data)) {
            foreach ($data as $item) {
                $sheet->setCellValue('A' . $row, $item['id']);
                $sheet->setCellValue('B' . $row, $item['name']);
                $sheet->setCellValue('C' . $row, $item['email']);
                $row++;
            }
            $page++;
        } else {
            break;
        }

        // 清理内存（可选，视情况而定）
        unset($data);
    } while (true);

    // 输出 Excel 文件
    header('Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet');
    header('Content-Disposition: attachment;filename="users.xlsx"');

    $writer = new Xlsx($spreadsheet);
    $writer->save('php://output');
    exit;
}

注意：
- 对于超大文件，PhpSpreadsheet 可能会占用较多内存，需结合分块处理。
- 如果内存不足，可以考虑使用更轻量的库（如 Box/Spout）。

3. 使用队列异步生成文件

对于超大数据量，实时生成文件可能会导致超时或性能问题。可以通过队列异步生成文件，用户稍后下载。

实现步骤：

用户请求导出时，将任务加入队列。
后台任务处理数据并生成文件（存储到服务器或云存储）。
用户通过链接下载生成的文件。

示例：使用 ThinkPHP 队列

public function createExportTask()
{
    // 将任务加入队列
    Queue::push('app\job\ExportJob', ['user_id' => $this->auth->id]);

    return json(['message' => '导出任务已创建，请稍后下载']);
}

ExportJob 队列任务示例：

namespace app\job;

use think\queue\Job;

class ExportJob
{
    public function fire(Job $job, $data)
    {
        $userId = $data['user_id'];

        // 生成文件逻辑（如 CSV 或 Excel）
        $filePath = '/path/to/export_' . $userId . '.csv';
        $fp = fopen($filePath, 'w');

        // 写入数据（示例）
        fputcsv($fp, ['ID', 'Name', 'Email']);
        $users = Db::name('users')->where('id', '>', 0)->select();
        foreach ($users as $user) {
            fputcsv($fp, [$user['id'], $user['name'], $user['email']]);
        }
        fclose($fp);

        // 标记任务完成
        $job->delete();
    }
}

优点：
- 避免用户长时间等待。
- 后台处理不占用前端资源。

4. 压缩文件

如果导出的文件较大，可以在生成文件后进行压缩（如 ZIP），减少文件体积和下载时间。

示例：压缩 CSV 文件

$zip = new \ZipArchive();
$zipFileName = '/path/to/export.zip';

if ($zip->open($zipFileName, \ZipArchive::CREATE) === TRUE) {
    $csvFileName = '/path/to/export.csv';
    $zip->addFile($csvFileName, basename($csvFileName));
    $zip->close();

    // 提供下载链接
    header('Content-Type: application/zip');
    header('Content-Disposition: attachment;filename="export.zip"');
    readfile($zipFileName);

    // 删除临时文件
    unlink($csvFileName);
    unlink($zipFileName);
}