PHP

Пишем быстрый PHP парсер (scraper)

В этом гайде мы рассмотрим, как написать быстрый и эффективный парсер (scraper) на PHP, позволяющий извлекать данные с веб-сайтов автоматически.

16 марта 2023 Время чтения 3129 просмотров

Практический материал CMS.BY

Парсеры или скраперы используются для автоматического сбора информации с веб-сайтов. Есть множество причин, по которым вам может понадобиться написать свой парсер на PHP: от создания аналитических инструментов и сервисов агрегации контента до мониторинга цен и доступности товаров. В этом гайде мы рассмотрим, как написать быстрый и эффективный парсер на PHP.

Шаг 1: Выбор библиотеки для HTTP-запросов

Начнем с выбора подходящей библиотеки для отправки HTTP-запросов в PHP. В этом гайде мы будем использовать Guzzle, популярную и мощную библиотеку для работы с HTTP на PHP. Установите Guzzle с помощью Composer:

composer require guzzlehttp/guzzle

Шаг 2: Создание функции для загрузки страницы

Теперь создадим функцию, которая будет загружать HTML-контент с помощью Guzzle:

require 'vendor/autoload.php';

use GuzzleHttp\Client;

function loadPage($url)
{
    $client = new Client();
    $response = $client->request('GET', $url);

    if ($response->getStatusCode() !== 200) {
        return false;
    }

    return (string)$response->getBody();
}

Эта функция принимает URL веб-страницы и возвращает ее HTML-контент, если загрузка прошла успешно.

Шаг 3: Выбор библиотеки для обработки HTML

Для обработки HTML лучше всего подойдет библиотека simplehtmldom, которая позволяет эффективно работать с DOM-структурой веб-страниц. Установите ее с помощью Composer:

composer require simplehtmldom/simplehtmldom

Шаг 4: Создание функции для парсинга

Теперь создадим функцию, которая будет извлекать определенные данные из HTML-контента:

require 'vendor/autoload.php';

use PHPHtmlParser\Dom;

function parseContent($html)
{
    $dom = new Dom();
    $dom->load($html);

    $title = $dom->find('title', 0);
    echo "Title: " . $title->text . "\n";
}

В нашем примере мы извлекаем заголовок страницы с помощью CSS-селектора 'title'. Вы можете изменить CSS-селектор или добавить дополнительные селекторы, чтобы извлекать другие элементы веб-страницы.

Шаг 5: Использование парсера

Теперь у нас есть все необходимое для создания простого парсера на PHP. Следующий код-фрагмент будет загружать данные с веб-страницы и парсить их:

require 'vendor/autoload.php';
require 'load_page.php';
require 'parse_content.php';

$url = 'https://example.com/';

$html = loadPage($url);
if ($html) {
    echo "Parsing content from $url\n";
    parseContent($html);
} else {
    echo "Failed to load content from $url\n";
}

Запустите этот PHP-скрипт, и вы увидите заголовок указанной веб-страницы.

Заключение

В данном гайде мы рассмотрели пример создания быстрого и эффективного парсера (scraper) на PHP, используя библиотеки Guzzle и simplehtmldom. Теперь вы можете написать свой собственный парсер, адаптируя базовый код под свои нужды – изменять или добавлять селекторы, передавать параметры и т.д. Удачи в создании своего первого парсера на PHP!