Вирішив привести статтю в актуальний вид. Раніше на цій сторінці був представлений універсальний парсер HTML сторінок на PHP. Але пройшло вже більше 4 років, я напрацював більше досвіду в області розробки парсеров. І вирішив викласти новий приклад PHP парсеру з детальним розбором алгоритму роботи.

Парсер минулій версії носив горде звання універсального, але це було досить умовне позначення. Скрипт мав багато обмежень, для його повноцінного використання були потрібні знання в регулярних виразах на PHP і JS.

Я подумав, подумав і вирішив, що більш універсальним рішенням буде показати приклад парсеру на PHP і розповісти, як він працює. Так програмісти, які раніше не писали парсеров зможуть вирішити свої завдання. А замовники зможуть зрозуміти можливості PHP в області парсинга сайтів і що реально можна вимагати від програмістів.

парсер - це програма, яка аналізує вхідні текстові дані, витягує потрібну інформацію і на основі отриманих даних видає результат в заданому форматі.

Загальний алгоритм PHP парсинга передбачає, що ваш скрипт робить запит по заданому адресою, отримує відповідь від сервера у вигляді HTML сторінки, або в якомусь іншому текстовому форматі, наприклад CSV, JSON, XML. Далі отримана інформація аналізується, з неї витягуються (Парс) потрібні дані, на основі яких формується результат. Отримані дані можна вивести на екран, або записати в файл або БД.

Приклад простого PHP парсеру html контенту

Припустимо нам потрібно Спарс ціну на товари на сайті gearbest.com. Скрипт зчитує задану сторінку, потім за допомогою регулярних виразів аналізує її контент і виділяє потрібні нам шматки HTML коду. Далі отриманий результат виводиться на екран.

/ Us "; $ buffer \u003d array (); preg_match ($ regexp, $ page, $ buffer); $ res_arr [" price_list "] [" currency "] \u003d $ buffer; $ res_arr [" error "] \u003d" "; ) else ($ res_arr [ "price"] \u003d 0; $ res_arr [ "currency"] \u003d "nodata"; $ res_arr [ "error"] \u003d "Помилка завантаження сторінки";) return $ res_arr;) / * --- 1.4 --- Висновок даних в HTML * / / * --- 1.4.1 --- Висновок отриманих цін * / function price_list_html ($ price_list) (echo "

Ціна: ". $ Price_list [" price "]." ". $ Price_list [" currency "]."

";) / * --- 1.4.2 --- Висновок помилок * / function error_list_html ($ error) (if (! Empty ($ error)) (echo"

Під час обробки запиту відбулися наступні помилки:

\\ N "; echo"

\\ N "; foreach ($ error as $ error_row) (echo"
• ". $ Error_row."
\\ N ";) echo"

\\ N "; echo"

статус: FAIL

\\ N ";) else (echo"

статус: OK

\\ N ";)) / * --- 1.4.3 --- Висновок помилок завантаження сторінок * / function error_page_list_html ($ error_page) (if (! Empty ($ error_page)) (echo"

\\ N "; foreach ($ error_page as $ error_row) (echo"
• [ ". $ Error_row."] ". $ Error_row." - ". $ Error_row."
\\ N ";) echo"

\\ N ";)) / * --- 1.4.4 --- Висновок роботи скрипта * / function run_time_html ($ time_start) (if (! Empty ($ time_start)) echo"\\ N ";) / * --- 2 --- Отримання контенту з каталогу Gearbest * / if ($ action) (// якщо помилок немає і дані форми пошуку отримані if (! Empty ($ gearbest_url)) ($ gearbest_url \u003d trim ($ gearbest_url); $ din_url \u003d $ gearbest_url; $ res_arr \u003d get_gearbest_price ($ din_url); $ price_list \u003d $ res_arr [ "price_list"]; $ error_page \u003d $ res_arr [ "error_page"]; $ error \u003d $ res_arr [ " error "];) else ($ error \u003d" Неможливо задано адресу сторінки з товаром ";)) / * --- 3 --- Висновок результатів роботи парсера * /?\u003e

index.php - основний файл PHP скрипта парсера. Код парсеру актуальний на момент публікації. Згодом HTML код сайту джерела може змінюватися і регулярні вирази вже не будуть до нього підходити.

Існують різні способи установки скрипта. Я працював з ним з-під XAMPP. Але можна парсер запускати прямо с. Просто заливаєте файл index.php до себе на сайт в будь-яку папку і звертаєтеся до нього через адресний рядок браузера. Припустимо, що ви закинули скрипт в папку my -parser в кореневій директорії вашого хостингу. Тоді в адресному рядку потрібно набрати URL: http: //вашдомен.ru/my-parser/.

Скріншот головної сторінки парсеру ціни з сайту gearbest.com:

1. На головній сторінці парсеру ми повинні ввести адресу сторінки товару. Після натискання на кнопку «Старт» сторінка перезавантажується, відправляються дані форми на сервер і PHP скрипт робить запит по заданому адресою за допомогою бібліотеки cURL.

За це дія відповідає функція curl_get_contents (), Яка є аналогом стандартної PHP функції file_get_contents (), Але з розширеним на основі cURL функціоналом.
cURL - це розширення для PHP, яке забезпечує підтримку бібліотеки функцій libcurl. Даний набір функцій дозволяє формувати POST і PUT запити, завантажувати файли. Підтримуються різні протоколи http, https, ftp тощо. Можна використовувати проксі-сервери, cookies та аутентифікацію користувачів. Загалом, відмінний інструмент для імітації дій користувача в браузері.

cURL штука для розробки HTML парсеров дуже корисна, і в одній з я більш детально розповім про прийоми роботи з нею для цілей парсинга.

Зверніть увагу, що скрипт бачить сторінку в текстовому форматі і аналізувати належить саме її HTML код.

3. На наступному етапі формується і виводиться на екран результат, отриманий на основі даних після парсинга. У нашому випадку це валюта і ціна товару.

Таким чином, для успішної розробки парсеров на PHP програмісту потрібно вміти працювати з бібліотекою функцій cURL і регулярними виразами PHP.

Як парсити зашифровані дані

У деяких випадках сервера віддають HTML сторінки в стислому або защіфрованном вигляді, наприклад Accept-Encoding: gzip. При цьому зміна підтримуваних форматів стиснення в запиті може не впливати на формат відповіді.

У таких випадках потрібно розшифрувати відповідь, наприклад, стандартної PHP функцією gzdecode (). І далі можна буде працювати за старою схемою.

Дані, зашірфованние за алгоритмом base64 можна розшифрувати функцією base64_encode ().

PHP парсер HTML сайту безкоштовно

Власне відповідь на питання, де взяти PHP парсер сайтів безкоштовно, простий - напишіть його самі. Базовий алгоритм роботи парсеров я вище розібрав в деталях.

Можна пошукати вже готові, написані раніше кимось вирішення вашого завдання. Але зробити парсер, який би на автоматі підходив до всіх варіантів, напевно, неможливо. Під кожен тип завдань потрібно розробляти свій конкретний продукт.

А для тих, хто не хоче паритися з регулярними виразами і настройками парсеру, я готовий провести його доопрацювання за вас, але, звичайно ж, це буде коштувати грошей :-).

Підсумкова вартість послуг розробки визначається після отримання конкретного технічного завдання. Ціна встановлюється строго перед початком виконання роботи, в ході робочого процесу фінансові умови не змінюються. працюю по 100% передоплатою. Мінімальне замовлення становить 2000 рублів.

Часто ціна парсеру виходить досить високою, а пов'язано це з тим, що розробка виходить унікальною, заточеною під конкретного замовника. Різні бувають варіанти вхідних динячих, потрібен індивідуальний формат результату на виході.

В цьому випадку формально теж можна отримати парсер для себе безкоштовно. Наприклад, ціна розробки парсеру вийшла 9 000 рублів. Ви шукаєте 9 осіб з аналогічною проблемою і збираєте з них по 1000 рублів, замовляєте розробку парсеру. Потім робите 10 копій, 1 собі і 9 віддаєте вашим знайомим.

У наступному циклі статей я покажу приклади реалізації більш складних парсеров, і т.п.

Загалом, дорогі мої читачі, ніж зміг тим допоміг, читайте, вчіться і не забувайте ставити посилання на блог.

Якщо вам необхідно зробити парсинг HTML документа, регулярні вирази не найкращий спосіб для цього. До того ж їх написання, трудомісткий процес, і вони зменшують швидкість роботи PHP додатки. У цій статті, ви дізнаєтеся, як використовувати вільний парсер HTML, для читання, зміни, вилучення деяких DOM елементів з HTML сторінок. Причому, HTML ресурсом може бути зовнішнє джерело. Тобто адреса HTML сторінки на іншому домені. Використовуючи, як приклад, сайт sitear.ru, Ви дізнаєтеся, як отримати і вивести список всіх опублікованих матеріалів на головній сторінці сайту. Іншими словами, ви будете робити те, що вам необхідно, парсинг HTML за допомогою PHP. В даному випадку під PHP, мається на увазі бібліотека simple HTML DOM.

Просто дотримуйтесь кроків статті, і дізнаєтесь багато нового і корисного для себе!

Крок 1 - Підготовка

Для початку, вам необхідно завантажити копію simple HTML domбібліотеки. Завантаження вільно.

В архіві ви знайдете кілька файлів, але нам необхідний тільки один - simple_html_dom.php. Всі інші, це приклади і документація.

Крок 2 - Основи HTML парсинга

Ця бібліотека, дуже проста у використанні, але все ж, необхідно розібрати деякі основи, перед тим як її використовувати.

$ Html \u003d new simple_html_dom (); // Load from a string $ html-\u003e load ( "

Hello World!

"); // Load a file $ html-\u003e load_file (" http: // сайт / ");

Все просто, ви можете створити об'єкт, завантажуючи HTML з рядка. Або, завантажити HTML код з файлу. Завантажити файл ви можете по URL адресою, або з вашої локальної файлової системи (сервера).

Важливо пам'ятати:Метод load_file (), працює на використанні PHP функції file_get_contents. Якщо у вашому файлі php.ini, параметр allow_url_fopen не встановлено як true, ви не зможете отримувати HTML файли з віддаленого адресою. Але, ви зможете завантажити ці файли, використовуючи бібліотеку CURL. Далі, прочитати вміст, використовуючи метод load ().

Отримання доступу до HTML DOM об'єктів

Припустимо у нас вже є DOM об'єкт, структурою, як на картинці вище. Ви можете почати працювати з ним, використовуючи метод find (), і створюючи колекції. Колекції - це групи об'єктів, знайдені за допомогою селекторів - синтаксис в чомусь схожий з jQuery.

Hello World!

We "re Here.

Використовуючи цей приклад HTML коду, ми дізнаємося, як отримати доступ до інформації укладеної в другому параграфі (p). Також, ми змінимо отриману інформацію і виведемо результат на дисплей.

// створення об'єкта парсеру і отримання HTML include ( "simple_html_dom.php"); $ Html \u003d new simple_html_dom (); $ Html-\u003e load ( "

Hello World!

"); // отримання масивів параграфів $ element \u003d $ html-\u003e find (" p "); // зміна інформації всередині параграфа $ element-\u003e innertext. \u003d" And we "re here to stay."; // вивід echo $ html-\u003e save ();

Як бачите реалізувати PHP парсинг документа HTML, дуже навіть просто, використовуючи simple HTML DOM бібліотеку. В принципі, в цьому шматку PHP коду, все можна зрозуміти інтуїтивно, але якщо ви в чомусь сумніваєтеся, ми розглянемо код.

лінія 2-4: Підключаємо бібліотеку, створюємо об'єкт класу і завантажуємо HTML код з рядка.

Лінія 7: За допомогою цього рядка, знаходимо все

теги в HTML коді, і зберігаємо в змінній у вигляді масиву. Перший параграф буде мати індекс 0, інші параграфи будуть індексовані відповідно 1,2,3 ...

Лінія 10: Отримуємо вміст другого параграфа в нашій колекції. Його індекс буде 1. Також ми вносимо зміни в текст за допомогою атрибута innertext. Атрибут innertext, змінює весь вміст всередині зазначеного тега. Також ми зможемо змінити сам тег за допомогою атрибута outertext.

Давайте додамо ще один рядок PHP коду, за допомогою якої ми призначимо клас стилю нашому параграфу.

$ Element-\u003e class \u003d "class_name"; echo $ html-\u003e save ();

Результатом виконання нашого коду буде наступний HTML документ:

Hello World!

We "re here and we" re here to stay.

інші селектори

Нижче наведені інші приклади селектор. Якщо ви використовували jQuery, то в бібліотеці simple html dom синтаксис трошки схожий.

// отримати перший елемент з id \u003d "foo" $ single \u003d $ html-\u003e find ( "# foo", 0); // отримує при парсінгу всі елементи з класом class \u003d "foo" $ collection \u003d $ html-\u003e find ( ". Foo"); // отримує все теги при парсінгу htmlдокумента $ collection \u003d $ html-\u003e find ( "a"); // отримує все теги , Які поміщені в тег

$ Collection \u003d $ html-\u003e find ( "h1 a"); // отримує все зображення з title \u003d "(! LANG: himom" $collection = $html->find("img"); !}

Використання першого селектора при php парсінгу html документа, дуже просте і зрозуміле. Його унікальність в тому що він повертає тільки один html елемент, на відміну від інших, які повертають масив (колекцію). Другим параметром (0), ми вказуємо, що нам необхідний тільки перший елемент нашої колекції. Сподіваюся, вам зрозумілі всі варіанти селектор бібліотеки simple HTML DOM, якщо ви чогось не зрозуміли, спробуйте метод наукового експерименту. Якщо навіть він не допоміг, зверніться в коментарі до статті.

Документація бібліотеки simple HTML DOM

Цілковиту документацію по використанню бібліотеки simple HTML DOM ви зможете знайти за цією адресою:

http://simplehtmldom.sourceforge.net/manual.htm

Просто надам вам ілюстрацію, яка показує можливі властивості обраного HTML DOM елементу.

Крок 3 - Реальний приклад PHP парсинга HTML документа

Для прикладу парсинга, і приведення HTML DOM бібліотеки в дію, ми напишемо грабер матеріалів на сайті сайт. Далі ми виведемо всі статті у вигляді списку, в якому будуть вказані назви статей. При написанні грабер, пам'ятайте, крадіжка контенту переслідується законом! Але не у випадку, коли на сторінці варто активне посилання на вихідний документ.

Include ( "simple_html_dom.php"); $ Articles \u003d array (); getArticles ( "http: // сайт /");

Починаємо з підключення бібліотеки, і виклику функції getArticles, яка буде довільні HTML документи відповідно адресою сторінки, яка передається в якості параметра функції.

Також ми вказуємо глобальний масив, в якому буде, зберігається вся інформація про статті. Перед тим як почати парсинг HTML документа, давайте подивимося, як він виглядає.

Це базовий шаблон даної сторінки. При написанні парсеру html, потрібно ретельно дослідити документ, так як і коментарі, типу, Це теж нащадки. Іншими словами, в очах бібліотеки simple HTML DOM, це елементи, які рівноцінні іншим тегам сторінки.

Крок 4 - Пишемо основну функцію PHP парсеру HTML

function getArticles ($ page) (global $ articles; $ html \u003d new simple_html_dom (); $ html-\u003e load_file ($ page); // ... далі буде ...)

Спочатку функції, ми викликаємо наш глобальний масив, який ми вказали раніше. Створюємо новий об'єкт simple_html_dom. Далі завантажуємо сторінку, яку будемо аналізувати довільні.

Крок 5 - Знаходимо потрібну інформацію

$ Items \u003d $ html-\u003e find ( "div"); foreach ($ items as $ names) ($ articles \u003d array ($ post-\u003e children (0) -\u003e plaintext);)

У цьому шматку коду все гранично просто, ми знаходимо все div з class \u003d name_material. Далі читаємо колекцію елементів і вибираємо назви матеріалів. Всі матеріали будуть збережені в масиві в даному виді:

$ Articles \u003d "Ім'я матеріалу 1"; $ Articles \u003d "Ім'я матеріалу 2"; ...

Крок 6 - Виводимо результат парсинга

Для початку, ми встановимо деякі стилі, для краси виведеної інформації, яку отримали при парсінгу.

Item (padding: 10px; color: # 600; font: bold 40px / 38px helvetica, verdana, sans-serif;)

"; Echo $ item; echo"