Юзер агенты – где взять список актуальных браузеров. Что такое User Agent и как его сменить в браузере Узнать свой юзер агент

В один прекрасный день вам обязательно понадобятся актуальные значения юзер агент (user agent). В своих поисках пересмотрите много специальных сайтов, размещающих такие списки, но свежих данных не найдете. Далее опишем способ получения списка значений user agent, наиболее актуальных на текущую дату. Не исключено, что несколько записей будет от старых браузеров так как наш метод основан на сборе статистики посещений сайтов, а некоторые пользователи пользуются старыми не обновленными версиями программ.

Для тех кто забыл: User Agent - это клиентское приложение, использующее определённый сетевой протокол. Термин обычно используется для приложений, осуществляющих доступ к веб-сайтам, таких как браузеры, поисковые роботы (и другие «пауки»), мобильные телефоны и другие устройства.

1 этап — сбор статистики с сайтов

Для сбора значений юзер агентов нам понадобятся свои работающие сайты, если нет своих, можно попросить друзей, если и у друзей нет, то можно за небольшое вознаграждение поискать исполнителя на каком-нибудь сео форуме или фриланс сайтах. Чем больше посещаемость сайта, тем лучше так как статистика соберется за короткий срок и по объему она будет значительно лучше.

Определившись с сайтами «донорами» идем в панель управления хостинга и в меню «Журналы» (такое название меню у хостинга beget, в другом может отличатся) включаем функцию «Журнал доступа к веб-серверу». После этих манипуляций в коневой папке сайта появится текстовый файл со списком записей к каким страницам вашего сайта были обращения, ip-адрес и юзер агент устройства. Далее нужно выждать время чтобы эти записи накопились.

На следующем изображении выделена запись user agent, которые мы и сможем узнать и будем собирать.

2 этап — чистка списка user agent

Скачиваем получившиеся файлы к себе на компьютер, если их несколько, то открываем любой в блокноте, а все последующие добавляем в него копированием текста. Тем самым мы подготовим файл для загрузки через excel. В нашем примере получился файл на 86072 строки. Далее необходимо получившийся файл открыть через excel. Открываем программу, жмем «Файл»-«открыть», в следующем окне выбираем наш файл. Далее откроется мастер текстов (импорт) в котором нужно поставить чекбокс в положение «с разделителями» и в следующем окне в поле «другой» поставить двойную кавычку. На третьем шаге в таблице «образец разбора данных» выделить последний столбец и указать для него формат «текст».

После такого импорта данные о посещении разбиты по столбцам. Нужные нам юзер агенты находятся в столбце F, поэтому смело можно удалить столбцы от A до E. Далее необходимо воспользоваться встроенной в excel функцией удаления дублей. В 2007 версии кнопка «удалить дубликаты» находится на вкладке «данные». Нажимаем ее и видим, что вместо 86072 строк, осталось 1555. Но на этом не останавливаемся, а следующим шагом удаляем ненужные записи юзер агент от поисковых систем. Выглядят они так: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Можно поставить фильтр по слову «bot» или «compatible». Далее идем по списку юзер агент и удаляем не нужные нам записи, например, от браузеров телефонов на андроид или айфон.

3 этап — итоговый файл

После всех чисток, получился довольно большой файл user agent, который можете использовать для смены записи в браузере, для добавления в программы парсинга и тому подобные. Актуальность списка — первая половина февраля 2016 года. Периодически он будет обновляться.

В файле экселя есть 3 вкладки:

1. Основной список, где найдете 823 записи user agent от yandex, mozila firefox, opera, internet explorer (IE), google chrome, safari и других браузеров. Записи собирались со статистики посещений сайта, поэтому могут попадаться старые браузеры и операционные системы, ведь не у всех они обновлены.
2. Вкладка «Мобильные устройства» содержит лист с 530 записями от мобильных браузеров. Решено их не удалять, а перенести в отдельную вкладку.
3. Во вкладке «Мусор» собрали старые версии браузеров, использование которых не рекомендуется.

Заключение

Файл user agent браузеров не в фомате txt, но это легко поправимо обычным копированием. На сайтах донорах использовался протокол http. Если в строке встречается запись wow64, то она означает, что компьютер посетителя с таким юзер агентом использует 64-битную операционную систему. Большая часть посетителей — это Россия.

Способ сбора записей не самый быстрый и удобный, но лучше, чем использовать старые и не современные записи.

Очередной приступ паранойи был вполне обоснован - он наступил после прочтения , где автор на примере браузера FireFox рассказывал о потенциальных утечках идентификационной информации. И стало интересно - а на сколько озвученные решения применимы, скажем, к браузеру Google Chrome ?
Скрыть реальный IP - используем разные VPN сервера, отключить львиную долю отслеживающих скриптов - Adblock Plus и Ghostery убрать Referer - не вопрос , что то ещё забыли… Ах да - User-Agent - своеобразный «отпечаток», по которому (в связке, скажем, с IP) легко идентифицировать пользователя. И с этим надо было что-то делать. Найденные решения лишь статично изменяли значение User-Agent, чего было явно недостаточно. Тогда и было решено написать плагин для скрытия реального User-Agent"a, а если быть точнее - подменять его на рандомный. Или почти рандомный.

Немного теории

Вообще, User-Agent (далее по тексту - UA ) - штука нужная. Нужная в первую очередь для корректного отображения страниц, ведь нам всем известно - разные версии разных браузеров по разному рендерят странички, и заботливые web-программисты учитывают этот факт, выдавая нужным браузерам нужным скрипты и стили. Разнится поддержка доступных технологий «движками». Отсюда вытекает первое требование к итогу - возможность «имитировать» различные браузеры, и что самое важное - иметь возможность выбора между ними.
UA - это в первую очередь набор. Набор различных идентификаторов, по которым и происходит определение - какой браузер, какая операционная система, какой версии, и какое специфичное ПО (привет, IE) стоит у пользователя.
Почему именно IP и UA надо скрывать в первую очередь? А давайте посмотрим на лог пустого сайта-заглушки, на котором вообще ничего нет:

$ cat somesite.org.access_log | tail -3 10.12.11.254 - - "GET / HTTP/1.0" 200 5768 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 10.12.11.254 - - "GET / HTTP/1.0" 200 5768 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 10.12.11.254 - - "GET / HTTP/1.0" 200 5768 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"

На сайте ничего нет, а я знаю о посетителе более чем достаточно. Всё потому что «логи знают всё» .

Немного практики

Итак, решено - подставляем фейковый UA . Но как его сформировать? Я пошел по пути собирания с десятка UA каждого интересующего браузера, и написания регулярки для каждого, которая будет генерировать максимально правдоподобный и в то же время а какой-то мере уникальный отпечаток. Хотите пример? Вот вам 10 UA браузера «IE 9», и среди них пять настоящих. Сможете отличить?

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; chromeframe/12.0.742.112) Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 6.0; Win64; x64; Trident/5.0; .NET CLR 3.8.50799; Media Center PC 6.0; .NET4.0E) Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 8.1; Trident/5.0; .NET4.0E; en-AU) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 8.0; WOW64; Trident/5.0; .NET CLR 2.7.40781; .NET4.0E; en-SG) Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 8.0; Win64; x64; Trident/5.0; .NET4.0E; en) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; Tablet PC 2.0; InfoPath.3; .NET4.0C; .NET4.0E) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.0; Trident/5.0; .NET CLR 2.2.50767; Zune 4.2; .NET4.0E) Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0
Да, это возможно, но для это нужно анализировать. Анализировать, например, какие.net могут стоять на каких ОС, анализировать версии и сочетания, нюансы. Когда они теряются в куче - задача становиться мало тривиальной. Кому интересно как выглядят регулярки - добро пожаловать по этой ссылке . Дня генерации использовал randexp.js (за подсказку спасибо хабрачуваку под ником ).

Вообще расширение успешно выдает себя за следующие браузеры:

• IE с 6 по 10;
• Chrome (Win / Mac / Linux);
• Firefox (Win / Mac / Linux);
• Safari (Win / Mac / Linux);
• Opera (Win / Mac / Linux);
• iPad и iPhone.

Что ещё интересного? Автоматизация . Отмечаешь галочками какие браузеры мы имитируем, ставишь галочку «Обновлять автоматически», указываешь интервал времени, и забываешь. Ничего лишнего. Для любопытных - посмотрите в консоли «фоновую страницу» - там всё не плохо залогировано.

Открытые исходники. Если есть желание допилить под себя, всё что необходимо, это:

1. Открыть ссылку расширения на гитхабе;
2. Нажать «Download Zip» или склонировать;
3. На странице расширений поставить чекбокс «Режим разработчика»;
4. Нажать «Загрузить распакованное расширение...» и указать путь к распакованному архиву или клону;

Буду очень признателен конструктивной критике и предложениям.

Лучше один раз увидеть.

User-Agent в Firefox и в других браузерах представляет собой строковое значение, которое идентифицирует этот браузер и предоставляет определенные сведения о системе серверам, на которых размещаются сайты, которые вы посещаете. Изменение строки пользовательского агента может быть полезно в определенных сценариях, например, когда некоторые функции сайта заблокированы для конкретной платформы, и вам необходимо обойти это ограничение.

Также изменение User-Agent часто используется веб-разработчиками при оптимизации веб-приложений для разных устройств. User-Agent может предоставить веб-серверам некоторые сведения об операционной системе пользователя и версии браузера.

Как изменить User-Agent в настройках Firefox

Для того чтобы изменить User-Agent в Firefox , выполните следующие действия:

User-Agent браузеров

Вот некоторые Юзерагенты, которые вы можете использовать:

Chrome на Linux:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36

Microsoft Edge:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586

Internet Explorer:
Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko

Еще больше их можно найти на сайте UserAgentString.com

Параметр «general.useragent.overridepreference» применяется к каждой открытой вкладке в Firefox и сохраняется до тех пор, пока вы не измените или не удалите его. Он остается включенным даже при закрытии или повторном открытии браузера.

Как изменить User-Agent Firefox с помощью расширения

Если вы часто меняете User Agent в Firefox, то стоит задуматься об установке специального браузерного дополнения, которое сэкономит много времени.

Изменить User-Agent в Firefox с помощью расширения User-Agent Switcher можно так:

Это дополнение является обновленной версией популярного расширения User-Agent Switcher и написано с помощью API веб-расширений. Старая версия не может использоваться в современных версиях Firefox. Эта версия расширения полностью совместима с новым Firefox Quantum.

Ну, а на сегодня все. Теперь вы знаете как изменять User Agent в Firefox. Ну, а если хотите ускорить работу браузера Firefox, то вам .

Юзерагент (User Agent) – это идентификатор браузера, показывающий сайтам: вашу операционную систему и ее версию, разрядность, ваш браузер и его версию. Каждый браузер с которого вы заходите в интернет имеет свой юзер агент, но его можно поменять с помощью специальных расширений.

Юзер агенты могут понадобиться для работы в различных программах, например MultiBrowser, ZennoPoster, LSender VK PRO, различный софт для вк и т.д. При работе в таких программах важно использовать только актуальные версии юзерагентов, потому что на основании их некоторые сайты делают определенные выводы. При использовании старых и “плохих” юзер агентов может даже повышаться вероятность блокировки.

Пример юзер агента: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36

Операционная система	Windows 7, архитектура x64
Браузер	Chrome 67.0.3396.87

Где взять актуальный список

Важность использования только актуальных юзер агентов очевидна. Если вы будете использовать в работе те же юзерагенты что и большинство пользователей интернета, вопросов у сайтов к вам не будет. С точки зрения сайтов вы будете выглядеть как обычный пользователь, нам как раз это и нужно при использовании программ для различной автоматизации.

Так где же взять юзерагенты? Оказалось в интернете практически нет ресурсов предоставляющих актуальные юзер агенты. Самый популярный сайт с юзер агентами (useragentstring.com/pages/useragentstring.php) не обновляет базу уже несколько лет.

Мы решили это исправить и запустили онлайн сервис , который обновляет базу каждый день. Юзер агенты в базе реальные, используемые пользователями в рунете. Можно скачать как бесплатный список, так и купить premium доступ.

Наверное, каждый знает, что сайты и сервисы собирают информацию о пользователях для собственных целей. User Agent - строка, которая содержит информацию о версии операционной системы, браузере и его особых функциях, а также об устройстве, с которого пользователь посещает сайт. Сайты собирают эти сведения для корректного отображения страницы и её содержимого. Раньше, сайты создавались с учётом особенностей разных браузеров, поэтому пользователи изменяли Юзерагент, чтобы просматривать страницы сайтов в том виде, который им нужен. Этим инструментом часто пользуются разработчики, проверяя работоспособность страниц с разных устройств.

Сама по себе информация, которую предоставляет Юзерагент браузера вреда не представляет, однако, некоторые сайты и сервисы используют её для идентификации пользователей. Поэтому, User Agent мешает тем, кто работает с мультиаккаунтами, социальными сетями и торговыми сервисами: smm менеджерам, арбитражникам, вилочникам, и.т.д. С их помощью сайты, сервисы и социальные сети обнаруживают одновременную работу нескольких аккаунтов и блокируют всю сеть, что приводит к потере денег и времени. Чтобы этого не случилось, пользователи изменяют User Agent в браузерах и программах, в которых присутствует встроенный браузер.

Также подмена User Agent поможет просто сохранить анонимность и обеспечить безопасность компьютера и хранимых на нём данных, а также обойти ограничения и посещать сайты, содержимое которых доступно только при использовании определённой платформы или устройства.

Однако, смена User Agent имеет недостатки: некоторые сайты могут отображаться некорректно, а сервисы технической поддержки получат неверную информацию о вашем устройстве и браузере, что затруднит решение проблемы. Поэтому, делайте это с умом и не забывайте откатывать изменения, если этого потребует ситуация.

Как отключить User Agent в браузерах

Способы изменения User Agent отличаются, в зависимости от браузера. Где - то это сделать проще, где - то сложнее, а в отдельных случаях, сменить User Agent без сторонних расширений не представится возможным. Если вы не знаете, как изменить User Agent, то воспользуйтесь инструкциям ниже. В них рассказывается, о изменении User Agent в популярных браузерах.

Изменение Mozilla Firefox

В новых версиях Mozilla Firefox изменить User Agent можно через командную строку браузера. Для этого вам потребуется:

1. Открыть браузер и в адресную строку ввести: about:config.
2. Нажимаем правой кнопкой мыши в окно настроек и выбираем пункт "создать", а затем выбираем "строка".
3. После этого, откроется окно, где предлагается назвать строку. Даём ей имя general.User Agent.override и жмём "Ок".
4. После этого, появится новое окно, которое потребует ввести значение строки. Вводим в неё нужный вам User Agent и нажимаем "ОК".

Универсальный способ изменения User Agent для браузеров на базе Chromium

Универсальный способ, который подойдёт для всех браузеров на базе Chromium. Замена юзер агента осуществляется прямо через браузер, используя встроенные инструменты разработчика. Для этого нужно:

1. Открываем браузер и заходим в его меню. Наводим курсор на пункт "Дополнительные инструменты", затем кликаем на пункт "Инструменты разработчика", либо вызываем меню сочетанием клавиш Ctrl+Shift+L или просто жмём F12.
2. В появившемся окне справа нажимаем на три точки, которые расположены на вкладках сверху
3. Во всплывающем окне выбираем раздел "More Tools", в нём кликаем на кнопку "Network conditions".
4. Снизу справа откроется дополнительная вкладка. В разделе "User Agent" снимаем галочку с пункта "Select automatically".
5. После этого, выбираем необходимый User Agent из ползунка, или же вводим нужный в специальное поле, расположенное ниже.
6. Данный способ подойдёт для трёх указанных выше браузеров. Если же он не сработал, то попробуйте воспользоваться другими способами, которые перечислены ниже.

Изменение Google Chrome

Поменять User Agent в Google Chrome несложно. Если универсальный способ вам не помог, или оказался слишком сложен, то попробуйте этот. Он работает для версий выше 26. Вам потребуется:

• Кликнуть правой кнопкой мыши на ярлык браузера.
• Во всплывающем окне нажать "Свойства."
• В поле "Объект" добавить следующее содержимое: --user-agent="(необходимый вам User Agent)”
• После этого, нажмите "ОК".

• Нажмите Win+R. В открывшемся окне "Выполнить", впишите chrome --user-agent="(нужный User Agent)"
• Нажмите "ОК"

Также можно просто использовать расширение, которое сменит User Agent в пару кликов. Найти их можно в поисковике, или в магазине расширений Chrome. Если вы не знаете, какое расширение использовать, то советуем обратить внимание на User-Agent Switcher для Google Chrome.

Изменение User Agent в Opera

Если универсальный способ, указанный выше, вам не помог, попробуйте воспользоваться дополнительными способами изменения User Agent в опера, которые зависят от версии вашего браузера. Чтобы сменить User Agent в 43 версии Oprea и ниже необходимо:

1. Открыть браузер, в адресную строку ввести opera:config#UserPrefs|CustomUser-Agent.
2. В открывшемся окне впишите нужный вам User Agent.

В новых версиях такой способ может и не сработать, поэтому придётся воспользоваться сторонними расширениями, которые меняют User Agent браузера, или делают его случайным при каждом входе в браузер. Их легко найти по соответствующему запросу в поисковике. Например, расширение User-Agent Switcher для Opera.

Изменение Yandex Browser.

Помимо универсального способа, описанного выше, сменить User Agent в Yandex Browser можно при помощи специального расширения, которое можно найти при помощи поисковика. Мы рекомендуем использовать расширение User-Agent Switcher для Yandex Browser.

Помните, что сменой Юзер агента нужно пользоваться с умом. Не забывайте возвращать исходные параметры после каждого изменения, поскольку неверно установленный User Agent будет некорректно отображать некоторые страницы, а в худшем случае, доступ к нужной вас странице будет полностью заблокирован.