Разбор того, что такое User Agent: Компоненты UA и как их искать
Если вы занимаетесь парсингом или просто беспокоитесь о конфиденциальности в Интернете, вы наверняка много раз сталкивались с термином "User Agent". Вы не раз слышали, что строка User Agent - это один из элементов, используемых для цифрового профилирования, и вы должны скрыть или подделать её с помощью XYZ-средств.
Но никто не потрудился рассказать вам, что такое user agent и как его искать. Не волнуйтесь, потому что мы здесь, чтобы дать вам полную информацию об User Agent.
Итак, давайте углубимся и выясним, что такое User Agent, из чего он состоит и как найти строку UA вашего браузера.
Понимание того, что такое User Agent
Когда браузеры отправляют запрос на сервер веб-сайта, они прикрепляют к нему заголовок HTTP User Agent. Этот заголовок содержит информацию о браузере, устройстве и операционной системе, а также другие технические данные.
Эта информация в заголовке называется строкой User Agent, и веб-серверы используют ее для проверки подлинности запроса браузера и отображения версии сайта, подходящей для устройства пользователя.
Итак, что, по сути, делает User Agent? Он просто идентифицирует браузер и его платформу для сервера, чтобы обеспечить лучший опыт для конечного пользователя.
Удаленный веб-сервер имеет набор версий веб-сайта, доступных для различных сред. Он проверяет полученный заголовок User Agent и выясняет, из какой среды он получен. Это User Agent настольного компьютера, User Agent iOS или User Agent Android?
Например, если веб-сайт обнаруживает User Agent Android, возвращается версия веб-страницы для Android, совместимая с устройством пользователя.
Если коротко ответить на вопрос, что такое User Agent, то это строка, которая действует от вашего имени при доступе к веб-сайтам или интернет-сервисам. Строка включает в себя информацию о программном обеспечении, а также об устройстве и используется веб-сайтами для улучшения вашего опыта на их сайте.
Однако User Agent также являются одним из многих атрибутов, используемых для создания браузерных отпечатков. Для борьбы с этим Chrome запустил собственную функцию UA-CH, где UA означает User Agent, а CH - подсказки клиента.
Вы также можете избежать браузерных отпечатков, используя антидетект браузер AdsPower, который позволяет создать случайный User Agent и настроить часовой пояс, WebRTC, местоположение и язык, а также другие параметры, используемые в браузерных отпечатках.
Ну а пока давайте вернемся к нашей теме и продолжим расшифровку строки User Agent.
с
Вы когда-нибудь замечали, что при доступе к веб-страницам с устройств Apple, по сравнению с другими устройствами, появляются тонкие различия в дизайне? Это происходит потому, что заголовок User Agent, получаемый сайтом с устройств Apple, отличается от заголовков других устройств.
Но каково содержание, на основании которого веб-серверы решают, какую версию сайта показывать?
Давайте посмотрим на него через случайного User Agent.
Что это за термины и цифры? Давайте разберёмся в них по порядку.
Жетон наследия
Наиболее распространенные User Agent имеют в начале 'Mozilla/5.0'. Это пережиток войны браузеров конца 90-х годов, и впервые его использовал Netscape, лидировавший в то время. Поскольку веб-сайты часто создавали версии, оптимизированные для популярных браузеров, запросы из менее популярных браузеров могли быть отклонены как подозрительные.
Чтобы преодолеть эту проблему, менее популярные браузеры создавали пользовательские строки User Agent, начиная с Mozilla/5.0, чтобы они выглядели как популярные User Agent более распространенных браузеров. Таким образом они обеспечивали совместимость с сайтами, разработанными для крупных браузеров.
Однако в настоящее время токен используется в заголовке User Agent исключительно для формальности и мало влияет на реальный используемый браузер.
Операционная система
Эта часть заголовка User Agent раскрывает информацию об операционной системе. В нашем примере User Agent 'Windows NT 10.0' означает, что операционная система - Windows 10, а 'Win64; x64' - что это 64-битная версия Windows 10, работающая на архитектуре устройств x64.
Этот бит отличается на разных устройствах и может содержать различное количество терминов, разделенных символом ";". Например, в User Agent Chrome для Linux эта часть выглядит примерно так '(X11; Linux x86_64)', указывая, что версия Linux - X11 с 64-битной архитектурой x86.
Аналогично, мобильные устройства также имеют свои отличия.
Вот несколько примеров мобильных User Agent;
User Agent Android
-
Samsung Galaxy S22 5G под управлением Android 13 с платформой Linux：
Mozilla/5.0 (Linux; Android 13; SM-S901B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Mobile Safari/537.36
-
Google Pixel 7 под управлением Android 13 с платформой Linux:
Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Mobile Safari/537.36
User Agent iOS
-
iPhone 12 под управлением iOS 13.0, совместимой с macOS:
Mozilla/5.0 (iPhone12,1; U; CPU iPhone OS 13_0 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) Version/10.0 Mobile/15E148 Safari/602.1
Механизм рендеринга браузера
В этой части показан движок рендеринга, используемый браузером. Движки рендеринга отвечают за преобразование HTML и CSS в визуальные и интерактивные веб-страницы.
WebKit, происходящий от движка KHTML, является движком рендеринга для Apple Safari. Хотя ранее он использовался в Chrome и других браузерах на базе Chromium, таких как Opera, Microsoft Edge, Vivaldi и Brave, с тех пор они перешли на использование движка Blink от Google, представленного проектом Chromium в 2013 году.
AppleWebKit/537.36 все еще встречается в обычных строках User Agent, потому что он основан на AppleWebKit.
Совместимые движки рендеринга
Это еще один маркер совместимости, указывающий на то, что браузер совместим с движками рендеринга KHTML и Gecko. Это в значительной степени исторический показатель, который используется в целях совместимости. Это также имеет смысл, поскольку Apple WebKit был форком движка KHTML.
Поскольку Firefox имеет собственный движок рендеринга под названием Gecko, его строки User Agent для мобильных и настольных компьютеров не включают KHTML, как и Gecko, за исключением устройств Apple, поскольку они используют AppleWebKit.
Вот несколько примеров User Agent Firefox;
-
User Agent Windows
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0
-
User Agent Android
Mozilla/5.0 (Android 14; Mobile; rv:123.0) Gecko/123.0 Firefox/123.0
-
User Agent iOS
Mozilla/5.0 (iPad; CPU OS 14_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) FxiOS/123.0 Mobile/15E148 Safari/605.1.15
Замечание: User Agent Firefox обычно состоят из четырех компонентов.
Фактический браузер и версия браузера
В этой части указывается браузер, из которого был получен User Agent. В данном случае браузером был Google Chrome версии 122. Веб-сайты используют этот бит для отображения соответствующего веб-контента, предназначенного для данного браузера.
Совместимый браузер
Дополнительное Safari/537.36 используется для того, чтобы показать, что браузер основан на WebKit от Safari. 537.36 - это номер сборки Safari.
Но в случае с User Agent Safari, поступающим непосредственно из браузера Safari, строка выглядит следующим образом. .
-
User Agent iPhone
Mozilla/5.0 (iPhone; CPU iPhone OS 17_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.3.1 Mobile/15E148 Safari/604.1
-
User Agent iPad
Mozilla/5.0 (iPad; CPU OS 17_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.3.1 Mobile/15E148 Safari/604.1
Версия/17.3.1 показывает версию Safari, а 604.1 - номер сборки Safari. Бит Mobile/15E148 указывает на то, что это мобильное устройство.
В этом блоге для любопытных можно найти хорошее объяснение того, как компоненты User Agent развивались на протяжении многих лет.
Более того, чтобы узнать, на что указывает каждый бит в вашем User Agent, пропустите его через этот онлайн-инструмент. Но для этого давайте сначала узнаем строку вашего UA.
Что такое мой User Agent: Поиск User Agent
Теперь, после того как вы узнали, что такое User Agent, вы можете захотеть узнать строку UA вашего браузера. Существует множество онлайн-инструментов для поиска User Agent. В Google простой поиск "what is my User Agent" выдаст строку UA в качестве главного результата.
Кроме того, вы можете узнать свою UA-строку с помощью консоли браузера.
-
Откройте инструменты разработчика в браузере, нажав F12
-
Откройте вкладку Консоль
-
Введите navigator.userAgent и нажмите клавишу Enter
Список User Agent различных браузеров
После того как стало понятно, что такое User Agent, важно знать, что существует несколько типов User Agent. Каждый браузерный UA отличается от другого либо деталями, либо количеством компонентов.
Вот список User Agent, которые обычно отправляются различными браузерами на сайты.
Строка User Agent Firefox
-
Mozilla/5.0 (platform; rv:geckoversion) Gecko/geckotrail Firefox/firefoxversion
Строка User Agent Chrome
-
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
Строка Edge User Agent
-
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.59
Строка User Agent Safari
-
Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1
Это конец!
Строки User Agent, хотя и могут быть изменены клиентами, ненадежны для веб-администраторов в плане защиты серверов от бот-трафика. Кроме того, они представляют собой проблему конфиденциальности, поскольку могут использоваться для создания браузерных отпечатков, отслеживая пользователей на основе информации об их браузере. По мере повышения осведомленности о конфиденциальности в Интернете возникает необходимость либо отказаться от их использования, либо сделать их менее идентифицируемыми. Производители браузеров разрабатывают новую систему идентификации клиентов без "отпечатков пальцев".
AdsPower понимает растущую обеспокоенность по поводу конфиденциальности в Интернете и широкого распространения браузерных отпечатков. Именно поэтому мы постоянно развиваем и совершенствуем нашу технологию виртуального профиля браузера. Браузер SunBrowser (ядро Chromium) с версией User Agent был обновлен до Chrome 122 в AdsPower.
Эти профили служат в качестве цифровых идентификаторов, позволяющих пользователям лучше контролировать свое присутствие в Интернете. Предлагая различные варианты подмены браузерных отпечатков, AdsPower позволяет пользователям создавать более разнообразные, похожие на подлинные, отпечатки пальцев, что усложняет отслеживание веб-сайтами их местонахождения в Интернете.
Это наше руководство, в котором мы ответили на вопрос, что такое User Agent и его компоненты. Мы надеемся, что после прочтения этой статьи у вас появились более глубокие знания об User Agent, его компонентах и о том, как он используется в бэкенде при запросе веб-сайта.
