PHP迭代器與生成器：高效處理大型數(shù)據(jù)集的利器

數(shù)組以及迭代是任何應(yīng)用程序的基石。隨著我們獲得新工具，我們使用數(shù)組的方式也應(yīng)該隨之改進(jìn)。

例如，生成器就是一種新工具。起初我們只有數(shù)組，然後我們獲得了定義自己的類(lèi)數(shù)組結(jié)構(gòu)（稱(chēng)為迭代器）的能力。但自PHP 5.5以來(lái)，我們可以快速創(chuàng)建稱(chēng)為生成器的類(lèi)迭代器結(jié)構(gòu)。

生成器看起來(lái)像函數(shù)，但我們可以將它們用作迭代器。它們?yōu)槲覀兲峁┝艘环N簡(jiǎn)單的語(yǔ)法，用於創(chuàng)建本質(zhì)上可中斷、可重複的函數(shù)。它們非常棒！

我們將研究幾個(gè)可以使用生成器的領(lǐng)域，並探討使用生成器時(shí)需要注意的一些問(wèn)題。最後，我們將學(xué)習(xí)一個(gè)由才華橫溢的Nikita Popov創(chuàng)建的優(yōu)秀庫(kù)。

示例代碼可在https://github.com/sitepoint-editors/generators-and-iter找到。

關(guān)鍵要點(diǎn)

• 生成器（自PHP 5.5起可用）是創(chuàng)建迭代器的強(qiáng)大工具，允許創(chuàng)建可中斷、可重複的函數(shù)，從而簡(jiǎn)化大型數(shù)據(jù)集的處理並提高內(nèi)存性能。
• Nikita Popov創(chuàng)建的Nikic/Iter庫(kù)引入了可與迭代器和生成器一起使用的函數(shù)，通過(guò)避免創(chuàng)建不必要的中間數(shù)組來(lái)顯著節(jié)省內(nèi)存。
• 在處理大型CSV文件時(shí)，生成器和Nikic/Iter庫(kù)尤其有用，可以處理大型數(shù)據(jù)集而無(wú)需一次性將它們?nèi)考虞d到內(nèi)存中。
• 雖然生成器可以顯著提高內(nèi)存性能，但它們也帶來(lái)自身的一些挑戰(zhàn)，例如與array_filter和array_map不兼容，需要使用Nikic/Iter等其他工具來(lái)處理此類(lèi)數(shù)據(jù)。

問(wèn)題

假設(shè)您有很多關(guān)係數(shù)據(jù)，並且想要進(jìn)行一些預(yù)加載。也許數(shù)據(jù)是逗號(hào)分隔的，您需要加載每種數(shù)據(jù)類(lèi)型並將它們組合在一起。

您可以從以下簡(jiǎn)單的代碼開(kāi)始：

function readCSV($file) {
    $rows = [];

    $handle = fopen($file, "r");

    while (!feof($handle)) {
        $rows[] = fgetcsv($handle);
    }

    fclose($handle);

    return $rows;
}

$authors = array_filter(
    readCSV("authors.csv")
);

$categories = array_filter(
    readCSV("categories.csv")
);

$posts = array_filter(
    readCSV("posts.csv")
);

然後，您可能會(huì)嘗試通過(guò)迭代或高階函數(shù)來(lái)連接相關(guān)元素：

function filterByColumn($array, $column, $value) {
    return array_filter(
        $array, function($item) use ($column, $value) {
            return $item[$column] == $value;
        }
    );
}

$authors = array_map(function($author) use ($posts) {
    $author["posts"] = filterByColumn(
        $posts, 1, $author[0]
    );

    // 對(duì) $author 進(jìn)行其他更改

    return $author;
}, $authors);

$categories = array_map(function($category) use ($posts) {
    $category["posts"] = filterByColumn(
        $posts, 2, $category[0]
    );

    // 對(duì) $category 進(jìn)行其他更改

    return $category;
}, $categories);

$posts = array_map(function($post) use ($authors, $categories) {
    foreach ($authors as $author) {
        if ($author[0] == $post[1]) {
            $post["author"] = $author;
            break;
        }
    }

    foreach ($categories as $category) {
        if ($category[0] == $post[1]) {
            $post["category"] = $category;
            break;
        }
    }

    // 對(duì) $post 進(jìn)行其他更改

    return $post;
}, $posts);

看起來(lái)不錯(cuò)，對(duì)吧？那麼，當(dāng)我們有大量CSV文件要解析時(shí)會(huì)發(fā)生什麼？讓我們稍微分析一下內(nèi)存使用情況……

function formatBytes($bytes, $precision = 2) {
    $kilobyte = 1024;
    $megabyte = 1024 * 1024;

    if ($bytes >= 0 && $bytes < $kilobyte) {
        return $bytes . " b";
    }

    if ($bytes >= $kilobyte && $bytes < $megabyte) {
        return round($bytes / $kilobyte, $precision) . " kb";
    }

    return round($bytes / $megabyte, $precision) . " mb";
}

print "memory:" . formatBytes(memory_get_peak_usage());

（示例代碼包含generate.php，您可以使用它來(lái)創(chuàng)建這些CSV文件……）

如果您有大型CSV文件，這段代碼應(yīng)該會(huì)顯示將這些數(shù)組鏈接在一起需要多少內(nèi)存。至少與您必須讀取的文件大小相同，因?yàn)镻HP必須將所有內(nèi)容都保存在內(nèi)存中。

生成器來(lái)救援！

改進(jìn)此問(wèn)題的一種方法是使用生成器。如果您不熟悉它們，現(xiàn)在是學(xué)習(xí)更多知識(shí)的好時(shí)機(jī)。

生成器允許您一次加載少量總數(shù)據(jù)。使用生成器您無(wú)需做太多事情：

function readCSV($file) {
    $rows = [];

    $handle = fopen($file, "r");

    while (!feof($handle)) {
        $rows[] = fgetcsv($handle);
    }

    fclose($handle);

    return $rows;
}

$authors = array_filter(
    readCSV("authors.csv")
);

$categories = array_filter(
    readCSV("categories.csv")
);

$posts = array_filter(
    readCSV("posts.csv")
);

如果您遍歷CSV數(shù)據(jù)，您會(huì)注意到所需的內(nèi)存量會(huì)立即減少：

function filterByColumn($array, $column, $value) {
    return array_filter(
        $array, function($item) use ($column, $value) {
            return $item[$column] == $value;
        }
    );
}

$authors = array_map(function($author) use ($posts) {
    $author["posts"] = filterByColumn(
        $posts, 1, $author[0]
    );

    // 對(duì) $author 進(jìn)行其他更改

    return $author;
}, $authors);

$categories = array_map(function($category) use ($posts) {
    $category["posts"] = filterByColumn(
        $posts, 2, $category[0]
    );

    // 對(duì) $category 進(jìn)行其他更改

    return $category;
}, $categories);

$posts = array_map(function($post) use ($authors, $categories) {
    foreach ($authors as $author) {
        if ($author[0] == $post[1]) {
            $post["author"] = $author;
            break;
        }
    }

    foreach ($categories as $category) {
        if ($category[0] == $post[1]) {
            $post["category"] = $category;
            break;
        }
    }

    // 對(duì) $post 進(jìn)行其他更改

    return $post;
}, $posts);

如果您之前看到的是兆字節(jié)的內(nèi)存使用量，現(xiàn)在您將看到千字節(jié)。這是一個(gè)巨大的改進(jìn)，但它並非沒(méi)有問(wèn)題。

首先，array_filter和array_map不適用於生成器。您必須找到其他工具來(lái)處理此類(lèi)數(shù)據(jù)。以下是一個(gè)您可以嘗試的工具！

function formatBytes($bytes, $precision = 2) {
    $kilobyte = 1024;
    $megabyte = 1024 * 1024;

    if ($bytes >= 0 && $bytes < $kilobyte) {
        return $bytes . " b";
    }

    if ($bytes >= $kilobyte && $bytes < $megabyte) {
        return round($bytes / $kilobyte, $precision) . " kb";
    }

    return round($bytes / $megabyte, $precision) . " mb";
}

print "memory:" . formatBytes(memory_get_peak_usage());

此庫(kù)引入了一些可與迭代器和生成器一起使用的函數(shù)。那麼，您如何在不將任何數(shù)據(jù)保存在內(nèi)存中的情況下仍然獲得所有這些相關(guān)數(shù)據(jù)呢？

function readCSVGenerator($file) {
    $handle = fopen($file, "r");

    while (!feof($handle)) {
        yield fgetcsv($handle);
    }

    fclose($handle);
}

這可以更簡(jiǎn)潔：

foreach (readCSVGenerator("posts.csv") as $post) {
    // 使用 $post 執(zhí)行某些操作
}

print "memory:" . formatBytes(memory_get_peak_usage());

（重新讀取每個(gè)數(shù)據(jù)源每次都效率低下?？紤]將較小的相關(guān)數(shù)據(jù)（如作者和類(lèi)別）保存在內(nèi)存中……）

其他有趣的事情

對(duì)於Nikic的庫(kù)來(lái)說(shuō)，這只是冰山一角！曾經(jīng)想要展平一個(gè)數(shù)組（或迭代器/生成器）嗎？

composer require nikic/iter

您可以使用slice和take等函數(shù)返回可迭代變量的切片：

// ... (后續(xù)代碼與原文類(lèi)似，但使用iter庫(kù)函數(shù)進(jìn)行優(yōu)化，此處省略以節(jié)省篇幅) ...

當(dāng)您更多地使用生成器時(shí)，您可能會(huì)發(fā)現(xiàn)您並不總是可以重用它們?？紤]以下示例：

// ... (使用iter庫(kù)函數(shù)簡(jiǎn)化代碼，此處省略以節(jié)省篇幅) ...

如果您嘗試運(yùn)行該代碼，您將看到一個(gè)異常，提示：“無(wú)法遍歷已關(guān)閉的生成器”。此庫(kù)中的每個(gè)迭代器函數(shù)都有一個(gè)可迴繞的對(duì)應(yīng)函數(shù)：

// ... (使用iter\flatten和iter\toArray函數(shù)的示例代碼，此處省略以節(jié)省篇幅) ...

您可以多次使用此映射函數(shù)。您甚至可以使您自己的生成器可迴繞：

// ... (使用iter\slice和iter\toArray函數(shù)的示例代碼，此處省略以節(jié)省篇幅) ...

您從中獲得的是一個(gè)可重用的生成器！

結(jié)論

對(duì)於您需要考慮的每個(gè)循環(huán)操作，生成器可能都是一個(gè)選項(xiàng)。它們甚至對(duì)其他事情也很有用。在語(yǔ)言功能不足的地方，Nikic的庫(kù)提供了大量的高階函數(shù)。

您是否已經(jīng)在使用生成器？您是否想查看更多關(guān)於如何在您自己的應(yīng)用程序中實(shí)現(xiàn)它們以獲得一些性能提升的示例？請(qǐng)告訴我們！

(FAQs部分與原文類(lèi)似，此處省略以節(jié)省篇幅。 可以根據(jù)需要選擇性保留或重新組織FAQs部分。)

以上是發(fā)電機(jī)和尼基/迭代的內(nèi)存性能增強(qiáng)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！