Юзер агенти - де взяти список актуальних браузерів. Що таке User Agent і як його змінити в браузері Дізнатися свій юзер агент

В один прекрасний день вам обов'язково знадобляться актуальні значення юзер агент (user agent). У своїх пошуках переглянете багато спеціальних сайтів, що розміщують такі списки, але свіжих даних не знайдете. Далі опишемо спосіб отримання списку значень user agent, найбільш актуальних на поточну дату. Не виключено, що кілька записів буде від старих браузерів так як наш метод заснований на зборі статистики відвідувань сайтів, а деякі користувачі користуються старими застарілими версіями програм.

Для тих хто забув: User Agent- це клієнтська програма, що використовує певний мережевий протокол. Термін зазвичай використовується для додатків, які здійснюють доступ до веб-сайтів, таких як браузери, пошукові роботи (і інші «павуки»), мобільні телефони та інші пристрої.

1 етап - збір статистики з сайтів

Для збору значень юзер агентів нам знадобляться свої працюють сайти, якщо немає своїх, можна попросити друзів, якщо і у друзів немає, то можна за невелику винагороду пошукати виконавця на якомусь сео форумі або фріланс сайтах. Чим більше відвідуваність сайту, тим краще так як статистика збереться за короткий термін і за обсягом вона буде значно краще.

Визначившись з сайтами «донорами» йдемо в панель управління хостингу і в меню «Журнали» (таку назву меню у хостингу beget, в іншому може відрізнятись) включаємо функцію «Журнал доступу до веб-сервера». Після цих маніпуляцій в Конєва папці сайту з'явиться текстовий файл зі списком записів до яких сторінок вашого сайту були звернення, ip-адреса і юзер агент пристрою. Далі потрібно почекати час щоб ці записи накопичилися.

На наступному зображенні виділена запис user agent, які ми і зможемо дізнатися і будемо збирати.

2 етап - чистка списку user agent

Викачуємо файли, що вийшли до себе на комп'ютер, якщо їх декілька, то відкриваємо будь в блокноті, а всі наступні додаємо в нього копіюванням тексту. Тим самим ми підготуємо файл для завантаження через excel. У нашому прикладі вийшов файл на 86072 рядки. Далі необхідно файл, відкрити через excel. Відкриваємо програму, тиснемо «Файл» - «відкрити», в наступному вікні вибираємо наш файл. Далі відкриється майстер текстів (імпорт) в якому потрібно поставити чекбокс в положення «з роздільниками» і в наступному вікні в полі «інший» поставити подвійні лапки. На третьому кроці в таблиці «зразок розбору даних» виділити останній рядок і вказати для нього формат «текст».

Після такого імпорту дані про відвідування розбиті по стовпцях. Потрібні нам юзер агенти знаходяться в стовпці F, тому сміливо можна видалити стовпці від A до E. Далі необхідно скористатися вбудованою в excel функцією видалення дублів. У 2007 версії кнопка «видалити дублікати» знаходиться на вкладці «дані». Натискаємо її і бачимо, що замість 86 072 рядків, залишилося 1555. Але на цьому не зупиняємося, а наступним кроком видаляємо непотрібні записи юзер агент від пошукових систем. Виглядають вони так: Mozilla / 5.0 (compatible; Googlebot / 2.1; + http: //www.google.com/bot.html). Можна поставити фільтр по слову «bot» або «compatible». Далі йдемо за списком юзер агент і видаляємо непотрібні нам записи, наприклад, від браузерів телефонів на андроїд або айфон.

3 етап - підсумковий файл

Після всіх чисток, вийшов досить великий файл user agent, який можете використовувати для зміни запису в браузері, для додавання в програми парсинга і тому подібні. Актуальність списку - перша половина лютого 2016 року. Періодично він буде оновлюватися.

У файлі екселя є 3 вкладки:

1. Основний список, де знайдете 823 записи user agent від yandex, mozila firefox, opera, internet explorer (IE), google chrome, safari і інших браузерів. Записи збиралися зі статистики відвідувань сайту, тому можуть потрапляти старі браузери і операційні системи, адже не у всіх вони оновлені.
2. Вкладка «Мобільні пристрої» містить лист з 530 записами від мобільних браузерів. Вирішено їх не видаляти, а перенести в окрему вкладку.
3. У вкладці «Сміття» зібрали старі версії браузерів, використання яких не рекомендується.

висновок

Файл user agent браузерів не в фоматі txt, але це легко можна виправити звичайним копіюванням. На сайтах донорах використовувався протокол http. Якщо в рядку зустрічається запис wow64, то вона означає, що комп'ютер відвідувача з таким юзер агентом використовує 64-бітну операційну систему. Велика частина відвідувачів - це Росія.

Спосіб збору записів не найшвидший і зручний, але краще, ніж використовувати старі і не сучасні записи.

Черговий напад параної був цілком обгрунтований - він настав після прочитання, де автор на прикладі браузера FireFox розповідав про потенційних витоках ідентифікаційної інформації. І стало цікаво - а на скільки озвучені рішення застосовні, скажімо, до браузеру Google Chrome?
Приховати реальний IP - використовуємо різні VPN сервера, відключити левову частку відстежують скриптів - Adblock Plus і Ghostery прибрати Referer - не питання, що то ще забули ... Ах да - User-Agent - своєрідний «відбиток», за яким (в зв'язці, скажімо, з IP) легко ідентифікувати користувача. І з цим треба було щось робити. Знайдені рішення лише статично змінювали значення User-Agent, чого було явно недостатньо. Тоді і було вирішено написати плагін для приховування реального User-Agent "a, а якщо бути точніше - підміняти його на рандомний. Або майже рандомний.

трохи теорії

Взагалі, User-Agent (далі по тексту - UA) - штука потрібна. Потрібна в першу чергу для коректного відображення сторінок, адже нам всім відомо - різні версії різних браузерів по різному Рендер сторінки, і турботливі web-програмісти враховують цей факт, видаючи за потрібне браузерам за потрібне скрипти і стилі. Різниться підтримка доступних технологій «двигунами». Звідси випливає перша вимога до підсумку - можливість «імітувати» різні браузери, і що найважливіше - мати можливість виборуміж ними.
UA - це в першу чергу набір. Набір різних ідентифікаторів, за якими і відбувається визначення - який браузер, яка операційна система, якої версії, і яке специфічне ПО (привіт, IE) коштує у користувача.
Чому саме IP і UA треба приховувати в першу чергу? А давайте подивимося на лог пустого сайту-заглушки, на якому взагалі нічого немає:

$ Cat somesite.org.access_log | tail -3 10.12.11.254 - - "GET / HTTP / 1.0" 200 5768 "-" "Mozilla / 5.0 (compatible; MJ12bot / v1.4.5; http://www.majestic12.co.uk/bot.php?+ ) "10.12.11.254 - -" GET / HTTP / 1.0 "200 5768" - "" Mozilla / 5.0 (compatible; YandexBot / 3.0; + http: //yandex.com/bots) "10.12.11.254 - -" GET / HTTP / 1.0 "200 5768" - "" Mozilla / 5.0 (Windows NT 6.1; WOW64; rv: 30.0) Gecko / 20100101 Firefox / 30.0 "

На сайті нічого немає, а я знаю про відвідувача більш ніж достатньо. Все тому що «логи знають все».

трохи практики

Отже, вирішено - підставляємо фейковий UA. Але як його сформувати? Я пішов по шляху збирання з десятка UA кожного цікавить браузера, і написання регулярки для кожного, яка буде генерувати максимально правдоподібнийі в той же час а якоюсь мірою унікальний відбиток. Хочете приклад? Ось вам 10 UA браузера «IE 9», і серед них п'ять справжніх. Чи зможете відрізнити?

Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident / 5.0; chromeframe / 12.0.742.112) Mozilla / 5.0 (Windows; U; MSIE 9.0; Windows NT 6.0; Win64; x64; Trident / 5.0; .NET CLR 3.8.50799; Media Center PC 6.0; .NET4.0E) Mozilla / 5.0 (Windows; U; MSIE 9.0; Windows NT 8.1; Trident / 5.0; .NET4.0E; en-AU) Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident / 5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 8.0 ; WOW64; Trident / 5.0; .NET CLR 2.7.40781; .NET4.0E; en-SG) Mozilla / 5.0 (Windows; U; MSIE 9.0; Windows NT 8.0; Win64; x64; Trident / 5.0; .NET4.0E ; en) Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident / 5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident / 5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; Tablet PC 2.0; InfoPath.3; .NET4.0C; .NET4.0E) Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 7.0; Trident / 5.0; .NET CLR 2.2.50767; Zune 4.2; .NET4.0E) Mozilla / 5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident / 5.0
Так, це можливо, але для це потрібно аналізувати. Аналізувати, наприклад, какіе.net можуть стояти на яких ОС, аналізувати версії і поєднання, нюанси. Коли вони губляться в купі - завдання ставати мало тривіальної. Кому цікаво як виглядають регулярки - ласкаво просимо за цим посиланням. Дня генерації використовував randexp.js (за підказку спасибі хабрачуваку під ніком).

Взагалі розширення успішно видає себе за такі браузери:

• IE з 6 по 10;
• Chrome (Win / Mac / Linux);
• Firefox (Win / Mac / Linux);
• Safari (Win / Mac / Linux);
• Opera (Win / Mac / Linux);
• iPad і iPhone.

Що ще цікавого? Автоматизація. Відзначаєш галочками які браузери ми імітуємо, ставиш галочку «Оновлювати автоматично», вказуєш інтервал часу, і забуваєш. Нічого зайвого. Для цікавих - подивіться в консолі «фонову сторінку» - там все не погано залоговані.

Відкриті вихідні. Якщо є бажання допив під себе, все що необхідно, це:

1. Відкрити посилання розширення на гітхабе;
2. Натиснути «Download Zip» або склоніровать;
3. На сторінці розширень поставити чекбокс «Режим розробника»;
4. Натиснути «Завантажити розпаковане розширення ...» і вказати шлях до розпакованого архіву або клону;

Буду дуже вдячний конструктивної критики і пропозицій.

Краще один раз побачити.

User-Agent в Firefox і в інших браузерах є строкове значення, яке ідентифікує цей браузер і надає певні відомості про систему серверів, на яких розміщуються сайти, які ви відвідуєте. Зміна рядка користувацького агента може бути корисно в певних сценаріях, наприклад, коли деякі функції сайту заблоковані для конкретної платформи, і вам необхідно обійти це обмеження.

Також зміна User-Agent часто використовується веб-розробниками при оптимізації веб-додатків для різних пристроїв. User-Agent може надати веб-серверів деякі відомості про операційну систему комп'ютера і версії браузера.

Як змінити User-Agent в налаштуваннях Firefox

Для того щоб змінити User-Agent в Firefox, виконайте наступні дії:

User-Agent браузерів

Ось деякі Юзерагенти, які ви можете використовувати:

Chrome на Linux:
Mozilla / 5.0 (X11; Linux x86_64) AppleWebKit / 537.36 (KHTML, like Gecko) Chrome / 65.0.3325.181 Safari / 537.36

Microsoft Edge:
Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit / 537.36 (KHTML, like Gecko) Chrome / 46.0.2486.0 Safari / 537.36 Edge / 13.10586

Internet Explorer:
Mozilla / 5.0 (Windows NT 6.1; WOW64; Trident / 7.0; AS; rv: 11.0) like Gecko

Ще більше їх можна знайти на сайті UserAgentString.com

Параметр «general.useragent.overridepreference» застосовується до кожної відкритої вкладки в Firefox і зберігається до тих пір, поки ви не зміните або не видалите його. Він залишається включеним навіть при закритті або повторному відкритті браузера.

Як змінити User-Agent Firefox за допомогою розширення

Якщо ви часто міняєте User Agent в Firefox, то варто задуматися про установку спеціального браузерного доповнення, яке заощадить багато часу.

Змінити User-Agent в Firefox за допомогою розширення User-Agent Switcher можна так:

Це доповнення є оновленою версією популярного розширення User-Agent Switcher і написано за допомогою API веб-розширень. Стара версія не може використовуватися в сучасних версіях Firefox. Ця версія розширення повністю сумісна з новим Firefox Quantum.

Ну, а на сьогодні все. Тепер ви знаєте як змінювати User Agent в Firefox. Ну, а якщо хочете прискорити роботу браузера Firefox, то вам.

Юзерагент (User Agent) - це ідентифікатор браузера, який показує сайтам: вашу операційну систему і її версію, розрядність, ваш браузер і його версію. Кожен браузер з якого ви заходите в інтернет має свій юзер агент, але його можна поміняти за допомогою спеціальних розширень.

Юзер агенти можуть знадобитися для роботи в різних програмах, наприклад MultiBrowser, ZennoPoster, LSender VK PRO, різний софт для вк і т.д. При роботі в таких програмах важливо використовувати тільки актуальні версії юзерагентов, тому що на підставі їх деякі сайти роблять певні висновки. При використанні старих і "поганих" юзер агентів може навіть підвищуватися ймовірність блокування.

Приклад юзер агента: Mozilla / 5.0 (Windows NT 6.1; Win64; x64) AppleWebKit / 537.36 (KHTML, like Gecko) Chrome / 67.0.3396.87 Safari / 537.36

Операційна система	Windows 7, архітектура x64
браузер	Chrome 67.0.3396.87

Де взяти актуальний список

Важливість використання тільки актуальних юзер агентів очевидна. Якщо ви будете використовувати в роботі ті ж юзерагенти що і більшість користувачів інтернету, питань у сайтів до вас не буде. З точки зору сайтів ви будете виглядати як звичайний користувач, нам якраз це і потрібно при використанні програм для різної автоматизації.

Так де ж взяти юзерагенти? Виявилося в інтернеті практично немає ресурсів надають актуальні юзер агенти. Найпопулярніший сайт з юзер агентами (useragentstring.com/pages/useragentstring.php) не оновлюється базу вже кілька років.

Ми вирішили це виправити і запустили онлайн сервіс, Який оновлює базу кожен день. Юзер агенти в базі реальні, які використовуються користувачами в рунеті. Можна завантажити як безкоштовний список, так і купити premium доступ.

Напевно, кожен знає, що сайти і сервіси збирають інформацію про користувачів для власних цілей. User Agent - рядок, яка містить інформацію про версію операційної системи, браузері і його особливих функціях, а також про пристрій, з якого користувач відвідує сайт. Сайти збирають ці відомості для коректного відображення сторінки і її вмісту. Раніше, сайти створювалися з урахуванням особливостей різних браузерів, тому користувачі змінювали Юзерагент, щоб переглядати сторінки сайтів в тому вигляді, який їм потрібен. Цим інструментом часто користуються розробники, перевіряючи працездатність сторінок з різних пристроїв.

Сама по собі інформація, яку надає Юзерагент браузера шкоди не представляє, проте, деякі сайти і сервіси використовують її для ідентифікації користувачів. Тому, User Agent заважає тим, хто працює з мультіаккаунтов, соціальними мережами та торговими сервісами: smm менеджерам, арбітражнікам, вілочнікам, і.т.д. З їх допомогою сайти, сервіси та соціальні мережі виявляють одночасну роботу декількох акаунтів і блокують всю мережу, що призводить до втрати грошей і часу. Щоб цього не сталося, користувачі змінюють User Agent в браузерах і програмах, в яких є вбудований браузер.

Також підміна User Agent допоможе просто зберегти анонімність і забезпечити безпеку комп'ютера і зберігаються на ньому даних, а також обійти обмеження і відвідувати сайти, вміст яких є тільки при використанні певної платформи або пристрою.

Однак, зміна User Agent має недоліки: деякі сайти можуть відображатися некоректно, а сервіси технічної підтримки отримають невірну інформацію про вашому пристрої і браузері, що утруднить вирішення проблеми. Тому, робіть це з розумом і не забувайте відкочувати зміни, якщо цього вимагатиме ситуація.

Як відключити User Agent в браузерах

Способи зміни User Agent відрізняються, залежно від браузера. Де - то це зробити простіше, де - то складніше, а в окремих випадках, змінити User Agent без сторонніх розширень буде неможливо. Якщо ви не знаєте, як змінити User Agent, то скористайтеся інструкцій нижче. У них розповідається, про зміну User Agent в популярних браузерах.

змінаMozilla Firefox

У нових версіях Mozilla Firefox змінити User Agent можна через командний рядок браузера. Для цього вам буде потрібно:

1. Відкрити браузер і в адресному рядку ввести: about: config.
2. Натискаємо правою кнопкою миші у вікно налаштувань і вибираємо пункт "створити", а потім вибираємо "рядок".
3. Після цього, відкриється вікно, де пропонується назвати рядок. Даємо їй ім'я general.User Agent.override і тиснемо "Ок".
4. Після цього, з'явиться нове вікно, яке вимагатиме ввести значення рядка. Вводимо в неї потрібний вам User Agent і натискаємо "ОК".

Універсальний спосіб зміни User Agent для браузерів на базі Chromium

Універсальний спосіб, який підійде для всіх браузерів на базі Chromium. Заміна юзер агента здійснюється прямо через браузер, використовуючи вбудовані інструменти розробника. Для цього потрібно:

1. Відкриваємо браузер і заходимо в його меню. Наводимо курсор на пункт "Додаткові інструменти", потім натискаємо на пункт "Інструменти розробника", або викликаємо меню, натисніть сполучення клавіш Ctrl + Shift + L або просто тиснемо F12.
2. У вікні праворуч натискаємо на три точки, які розташовані на вкладках зверху
3. У спливаючому вікні вибираємо розділ "More Tools", в ньому натискаємо на кнопку "Network conditions".
4. Знизу праворуч відкриється додаткова вкладка. У розділі "User Agent" знімаємо галочку з пункту "Select automatically".
5. Після цього, вибираємо необхідний User Agent з повзунка, або ж вводимо потрібний в спеціальне поле, розташоване нижче.
6. Даний спосіб підійде для трьох зазначених вище браузерів. Якщо ж він не спрацював, то спробуйте скористатися іншими способами, які перераховані нижче.

змінаGoogle Chrome

Поміняти User Agent в Google Chrome нескладно. Якщо універсальний спосіб вам не допоміг, або виявився занадто складний, то спробуйте цей. Він працює для версій вище 26. Вам потрібно:

• Натиснути правою кнопкою миші на ярлик браузера.
• У спливаючому вікні натиснути "Властивості."
• В поле "Об'єкт" додати наступне вміст: --user-agent = "(необхідний вам User Agent)"
• Після цього, натисніть "ОК".

• Натисніть Win + R. У вікні "Виконати", впишіть chrome --user-agent = "(потрібний User Agent)"
• Натисніть "ОК"

Також можна просто використовувати розширення, яке змінить User Agent в пару кліків. Знайти їх можна в пошуковику, або в магазині розширень Chrome. Якщо ви не знаєте, яке розширення використовувати, то радимо звернути увагу на User-Agent Switcher для Google Chrome.

Зміна User Agent в Opera

Якщо універсальний спосіб, зазначений вище, вам не допоміг, спробуйте скористатися додатковими способами зміни User Agent в опера, які залежать від версії вашого браузера. Щоб змінити User Agent в 43 версії Oprea і нижче необхідно:

1. Відкрити браузер, в адресний рядок ввести opera: config # UserPrefs | CustomUser-Agent.
2. У вікні, впишіть потрібний вам User Agent.

У нових версіях такий спосіб може і не спрацювати, тому доведеться скористатися сторонніми розширеннями, які змінюють User Agent браузера, або роблять його випадковим при кожному вході в браузер. Їх легко знайти за відповідним запитом в пошуковій системі. Наприклад, розширення User-Agent Switcher для Opera.

змінаYandex Browser.

Крім універсального способу, описаного вище, змінити User Agent в Yandex Browser можна за допомогою спеціального розширення, яке можна знайти за допомогою пошукової системи. Ми рекомендуємо використовувати розширення User-Agent Switcher для Yandex Browser.

Пам'ятайте, що зміною Юзер агента потрібно користуватися з розумом. Не забувайте повертати вихідні параметри після кожної зміни, оскільки невірно встановлений User Agent буде некоректно відображати деякі сторінки, а в гіршому випадку, доступ до потрібної вас сторінці буде повністю заблокований.