База знаний о прокси

Прокси серверы

Что такое прокси?

Простыми словами, прокси-сервер (от английского слова «proxy» — полномочие действовать от имени другого лица) — это программа, работающая на каком-либо компьютере в сети, позволяющая одним компьютерам, выполнять запросы к другим, от своего имени. Таким образом, прокси сервер выполняет роль посредника между клиентом (например, Вашим компьютером) и сервером (например, каким-нибудь Интернет-сайтом), доступ к которому запрашивает клиент.

При используемом по-умолчанию прямом соединении, например, при просмотре страницы Интернет сайта, компьютер или смартфон клиента (пользователя), отправляет запрос на просмотр страницы непосредственно к веб-серверу, на котором расположен сайт, веб-сервер обрабатывает запрос и отправляет ответ обратно клиенту. Обмен данными состоялся, пользователь просмотрел страницу интересующего Интернет сайта.

В некоторых случаях, для той же операции, клиент может воспользоваться промежуточным прокси сервером. В этом случае, клиент, вместо прямого подключения к интересующему веб-серверу, подключается к промежуточному прокси-серверу, и передаёт ему информацию о том, какую страницу на каком Интернет сайте он хотел бы запросить. Получив запрос от клиента, прокси сервер выполняет прямое подключение к веб-серверу и запрашивает необходимую клиенту страницу. Веб-сервер обрабатывает запрос, и отправляет ответ прокси-серверу, а прокси-сервер, отправляет этот ответ клиенту.

На следующей иллюстрации схематически изображены процессы прямого обмена данными и обмена данными с использованием прокси сервера между двумя компьютерами в сети.

Что такое прокси сервер

Зачем нужны прокси?

На сегодняшний день, прокси серверы, главным образом, используются для сокрытия, либо изменения своего IP адреса при обращении к какому-либо сетевому ресурсу. Причин сделать это может быть много, рассмотрим наиболее распространённые из них.

Какие бывают типы прокси?

Существуют несколько типов прокси серверов, каждый из которых обладает своими особенностями.

HTTP прокси

Как следует из названия, прокси этого типа поддерживают только протокол HTTP и подходят для просмотра веб-страниц и загрузки файлов с веб-сервисов, работающих на стандартном 80 TCP порту. HTTP прокси не подойдут для просмотра сайта, который работает только по защищённому протоколу SSL. HTTP прокси нельзя использовать в цепочке. С точки зрения обеспечения анонимности, в зависимости от содержания отправляемых HTTP заголовков, прокси серверы этого типа подразделяются на:

ВАЖНО Бывают прозрачные HTTP прокси с поддержкой метода CONNECT. В этом случае, при работе с прокси по HTTP протоколу прокси является прозрачным, а при работе с этим-же прокси, но с использованием метода CONNECT прокси будет анонимным или даже высоко анонимным. Сервис Best-Proxies.ru выполняет проверку уровня анонимности по каждому из поддерживаемых прокси сервером протоколов, и, выбирает протокол с наивысшим уровнем анонимности, при этом, не показывая пользователям поддержку протоколов с отличным (более низким) уровнем анонимности. То есть, для обеспечения заявленного Сервисом уровня анонимности для конкретного прокси, необходимо работать с этим прокси, по заявленному же Сервисом протоколу. Читать подробнее.

HTTPS (CONNECT) прокси

Прокси этого вида поддерживают HTTP метод CONNECT, позволяющий реализовать HTTP туннелирование, при котором протокол высокого уровня (HTTP) используется для транспорта протокола более низкого уровня, в данном случае TCP. Эти прокси могут выполнять подключение к любому порту запрашиваемого через прокси сервер ресурса. В виду этой особенности, прокси этого типа могут работать практически с любым сетевым приложением (TCP), в том числе, с веб-серверами по безопасному протоколу SSL (Secure Socket Layer), поэтому, их и называют «HTTPS прокси». HTTP туннелирование обеспечивает анонимность HTTPS прокси и даёт им возможность работать в цепочке.

SOCKS прокси

Через SOCKS прокси может работать практически любое сетевое приложение. Например, можно использовать SOCKS прокси для работы с Вашим почтовым клиентом (протоколы POP3, SMTP, IMAP) или ICQ. Другой отличительной особенностью SOCKS прокси является то, что вы можете использовать сразу несколько SOCKS прокси в цепочке, повышая уровень своей анонимности. SOCKS прокси всегда анонимны, поскольку работают на протоколе низкого уровня и не модернизируют HTTP заголовки.

Чем отличаются версии SOCKS прокси?

Существуют три версии протокола: SOCKS4, SOCKS4a и SOCKS5. Все версии поддерживают IPv4, протокол TCP и позволяют использовать метод BIND, открывая порт для входящих соединений. Версии SOCKS 4a и 5, в отличие от SOCKS4 позволяют клиенту указывать вместо целевого IP адреса доменное имя, то есть, выполнять DNS запросы на стороне SOCKS сервера, что хорошо для клиентов, не имеющих такой возможности на своей стороне, и для обеспечения защиты от «утечки DNS». В последней версии протокола SOCKS5 имеется поддержка протокола UDP и IPv6, а также расширено количество поддерживаемых методов авторизации.

Веб прокси (CGI-прокси, анонимайзеры)

Веб прокси, известный также как «Анонимайзер» или «CGI прокси» (Common Gateway Interface), представляет собой веб-страницу, используя которую пользователь может посетить другой веб-сайт, в большинстве случаев - анонимно. Веб прокси легко использовать, поскольку нет необходимости менять настройки браузера. Большинство веб прокси поддерживают работу с сайтами по защищённому протоколу SSL. Веб прокси можно использовать в цепочке.

Деление прокси по видам оборудования

Прокси всех типов можно условно разделить по виду оборудования, на котором они работают:

Деление прокси по принадлежности IP

Ни для кого не секрет, что сегодня существуют базы данных IP адресов, которые позволяют определить различные характеристики IP адреса, такие как: страна, город, почтовый индекс, Интернет-провайдер, тип подключения к сети и другие. Крупные Интернет-сайты пользуются ими для сбора и анализа маркетинговых данных, пресечения попыток мошенничества или для предоставления дополнительных удобств для пользователей, предоставляя контент оптимизированный для устройства пользователя и на языке пользователя. С точки зрения администратора Интернет-ресурса, IP, с которых обращаются пользователи можно условно разделить на три группы:

Деление прокси по ограниченности доступа

С точки зрения пользователя прокси сервера, чем меньше людей имеют доступ к данному прокси – тем лучше. Во-первых, чем меньшее количество пользователей используют конкретный прокси, тем выше его скорость. Во-вторых, нарушение правил использования какого-либо онлайн сервиса одним пользователем, приведёт к бану, что сделает прокси непригодным для дальнейшей работы с данным сервисом для всех других пользователей. Таким образом, прокси всех типов можно условно разделить по ограниченности доступа к ним:

Что такое каскадный прокси сервер?

Каскадным, называют прокси, к которому происходит подключение от другого, «родительского» прокси сервера, это «прокси для прокси». В цепочке может быть несколько прокси, каждый из которых последовательно подключается к следующему (каскадному). Особенностью прокси серверов, выполняющих каскадные подключения, является то, что IP адрес подключения к прокси не равен «исходящему» («результирующему») IP адресу. Бывает, что несколько прокси с разными IP и даже из разных подсетей «на выходе» имеют одинаковый IP адрес, или, наоборот, когда на одном IP адресе открыто несколько портов, каждый из которых «ведёт» на другой прокси с другим IP адресом, возможно даже, из другой страны (например, так реализована технология backConnect прокси). Тот факт, что прокси сервер выполняет каскадные подключения к другим прокси (каскадным) не говорит о том, что в данном случае используется технология BackConnect прокси, и что прокси принадлежит ботнету.

Схема работы каскадного прокси сервера

Что такое BackConnect прокси сервер?

«BackConnect» в переводе с английского означает обратное подключение, и это именно то, чем отличается BackConnect прокси сервер от классического. Классический прокси открывает и прослушивает порт, в ожидании подключения клиента, в то время как BackConnect прокси сервер порт службы не открывает, а сам выполняет (обратное) подключение к клиенту. Преимуществом такого подхода является возможность обхода файрвола (который по-умолчанию запрещает входящие подключения, и разрешает все исходящие) или NAT на компьютере-прокси.

У данной технологии есть две проблемы, первая, как сообщить BackConnect прокси серверу IP адрес и порт клиента, к которому он должен подключиться? И, вторая, клиент должен иметь возможность открыть для прослушивания порт. Обе эти задачи решаются организацией сервера - шлюза, который открывает порты для входящих подключений от BackConnect прокси, и входящих подключений от клиентов. Получив запрос от клиента, сервер-шлюз отправляет этот запрос на один из подключенных прокси для исполнения, и, получив ответ передаёт его клиенту. Таким образом, со стороны клиента, сервер-шлюз выглядит как классический каскадный прокси.

Главным недостатком данной технологии является то, что клиент заранее не знает с каким именно IP адресом будет выполнен его запрос. Поэтому, обычно создаётся несколько серверов-шлюзов, или несколько пулов клиентских портов на одном сервере, к каждому из которых подключаются прокси с каким-то специфическим признаком, чаще всего - географическим.

Обычно, источником BackConnect прокси являются ботнеты.

Схема работы BackConnect прокси

К сведению В случаях, когда IP адрес подключения и результирующий IP адреса прокси различны, что бывает в случае каскадных и BackConnect прокси, сервис Best-Proxies.ru определяет гео данные на основе «результирующего» IP, а не адреса подключения. Параметр фильтра отбора прокси «только уникальные IP» позволяет отобрать прокси с уникальными результирующими IP, т.е. подключение через каждый отобранный таким образом прокси будет проходить с разными IP.

Как отбирать прокси для эффективной работы с ними?

Не все прокси подходят для работы с любыми ресурсами и протоколами. Следующие рекомендации помогут значительно повысить эффективность работы с прокси.

  1. Исключайте HTTP прокси для работы по защищённому HTTPS соединению. Если Вы хотите работать с ресурсом, который работает только по защищенному HTTPS протоколу (например https://google.com/), отбирайте только HTTPS и/или SOCKS прокси. Обычные HTTP прокси, без поддержки метода CONNECT не будут работать.
  2. Исключайте Китайские прокси для работы с ресурсами, заблокированными в Китае. Китай является традиционным источником большого количества прокси, их доля в общем объеме доступных на нашем сервисе прокси может превышать 50%. Вместе с тем, в настоящее время, в Китае ограничен доступ к некоторым ресурсам из-за цензуры (например, такие ресурсы как Instagram.com , Gmail.com и Twitter.com в Китае недоступны). Если в процессе работы с программой Вы получаете слишком много ошибок, возможно, причиной тому является то, что Вы пытаетесь подключиться к ресурсу, доступ к которому в Китае закрыт. Вы можете исключить Китайские прокси из выборки, как через фильтр веб-интерфейса, так и при обращении к API-интерфейсу. Проверить, не заблокирован ли какой-либо ресурс в Китае Вы можете на этом сайте.
  3. При работе в браузере отбирайте долгоживущие прокси. Согласно нашей статистике, срок жизни большинства прокси составляет менее часа. Любой прокси может прекратить работать в любой момент. Однако, можно снизить вероятность этого события, отбирая прокси со сроком жизни более 1 часа, используя для этого параметр фильтра Время жизни прокси, не менее (параметр API uptime). C чем большим временем жизни Вы отберёте прокси, тем ниже будет вероятность внезапного прекращения его работы.

Действительно ли использование прокси полностью анонимно и безопасно?

Нет. Хотя анонимные и высоко анонимные прокси не передают серверу IP адрес клиента, тем не менее, информация о клиенте может быть передана посредством JavaScript или других методов. А сами прокси серверы могут вести журнал своей работы (логи), сохраняя все переданные через них данные, включая логины, пароли и другую конфиденциальную информацию. Прокси серверы могут быть под контролем злоумышленников или спецслужб, или даже созданы ими намеренно для перехвата трафика.

Что такое «цепочка прокси» и как это работает?

Такие виды прокси как HTTPS, SOCKS и Веб-прокси можно объединять в цепочки, в которой любое количество прокси последовательно соединяются друг с другом для повышения уровня анонимности клиента. В отличие от каскадных прокси, в которых также могут быть задействованы несколько прокси, цепочка прокси создаётся на стороне и силами клиента, а не на стороне прокси.

Для «сбора» цепочки из HTTPS и/или SOCKS прокси необходимо специальное клиентское программное обеспечение, например, Proxifier . Для организации цепочки из Веб прокси необходим только браузер, в окне которого открывается, сначала, Веб-прокси №1, затем, уже в открывшемся Веб-прокси, открывается Веб-прокси №2 и т.д.

Следует помнить, что вся цепочка перестанет работать, если перестанет работать хотя бы один прокси сервер из её состава.

Схема работы цепочки прокси

Что такое «судья прокси»?

Судья прокси (Proxy Judge) - это скрипт, размещённый на веб сервере, который при обращении к нему, выводит в ответ HTTP заголовки соединения и их содержимое, по которым прокси чекер может определить уровень анонимности прокси, через который происходит обращение к судье. Выбор быстрого и правильно работающего судьи прокси является важной частью настройки программного обеспечения, выполняющего проверку прокси серверов. У нас Вы можете найти актуальный автоматически обновляемый список проверенных судей прокси.

Что такое IP адрес?

Интернет можно представить в виде множества компьютеров, объединённых между собой посредством проводов и беспроводных технологий в единую сеть. Чтобы внутри сети все её участники могли обмениваться информацией друг с другом, подобно людям, имеющим почтовые адреса, каждый компьютер имеет уникальный, принадлежащий только ему одному адрес, называемый IP (аббревиатура от Internet Protocol) адресом. Сохраняющий на сегодняшний день наибольшую распространённость IP адрес в формате IPv4 представляет собой набор из четырёх групп цифр (октетов) от 0 до 255 разделённых точками.

Что такое «частные» диапазоны IP?

Частными (внутренними, внутрисетевыми или «серыми») называют диапазоны IP-адресов, не используемые в сети Интернет. IP адреса из таких сетей (диапазонов) используются в локальных сетях, и их распределение никем не контролируется. Следующие IPv4 диапазоны определены IANA (от англ. Internet Assigned Numbers Authority – «Администрация адресного пространства Интернет») как адреса, выделенные для локальных сетей:

Также для петлевых интерфейсов (не используется для обмена между узлами сети) зарезервирован диапазон 127.0.0.0 – 127.255.255.255.

Что такое «опасные» диапазоны IP?

Опасными, называют диапазоны IP (подсети), принадлежащие государственным военным и правоохранительным структурам, а также крупным корпорациям, выполняющим государственные оборонные заказы или научные исследования в данной области, поскольку, сканирование данных сетей, или использование прокси, расположенных в этих сетях (возможно, созданных специально с целью перехвата и исследования трафика) «чревато».

К сведению Сервис Best-Proxies.ru очищает свои списки прокси от IP адресов из известных нам опасных диапазонов IP.

Что такое RBL/DNSBL?

DNSBL (DNS blacklist или DNS blocklist) или RBL (Realtime Blocking List) - представляют собой списки хостов (IP адресов или доменных имён) замеченных в какой-либо вредоносной активности (рассылка СПАМа, проведение DoS атак, сканирование портов и т.д.), хранимые с использованием системы архитектуры DNS. Некоторые DNSBL хранят списки хостов, напрямую не связанных с вредоносной активностью, например, списки динамических IP адресов. Обычно DNSBL используются для борьбы со спамом, распространяемом посредством электронной почты, комментариев или сообщений на форумах. Сервер, в момент приёма сообщения, обращается к DNSBL и проверяет наличие в нём A-записи IP-адреса (домена) клиента, от которого он принимает сообщение. При положительном ответе считается, что происходит попытка отправки СПАМ-сообщения. Отправителю сообщается соответствующая ошибка и сообщение не принимается.

Как проверить свой IP на присутствие в RBL/DNSBL?

Для проверки присутствия своего IP в наиболее популярных списках DNSBL Вам достаточно лишь посетить страницу с информацией о Вашем IP, расположенную на нашем сайте. Мы проверяем только блок-листы, то есть, только те списки, присутствие в которых однозначно говорит о вредоносной активности IP, мы не проверяем списки динамических IP адресов. После того, как будет завершён опрос всех DNSBL, Вы сможете увидеть те из них, в которых присутствует Ваш IP адрес (напротив соответствующего DNSBL будет написано «Да»). Для того, чтобы установить причину попадания в список, и способ удаления Вашего IP из списка, Вы можете перейти на сайт соответствующего DNSBL, ссылка на который станет активной для DNSBL, в который внесён Ваш IP.

Что такое ботнет?

Слово Botnet (ботнет) происходит от слов «robot» (робот) и «network» (сеть). Киберпреступники, используя вредоносное программное обеспечение (вирусы, сетевые черви, трояны), получают контроль над компьютерами пользователей по всему миру и объединяют их в единую сеть (ботнет), которой можно управлять удаленно. Эти вредоносные программы работают незаметно, используя при этом системные ресурсы компьютера пользователя. И чаще всего пользователь даже не догадывается, что его компьютер «зомбирован». Обычно ботнеты используются для нелегальной или неодобряемой деятельности - рассылки спама, перебора паролей на удалённой системе, атак на отказ в обслуживании, накрутки кликов в рекламных сетях с оплатой за клик.

Чем прокси отличается от VPN?

Несмотря на некоторые сходства, технологии прокси и VPN существенным образом различаются. Мы уже говорили о том, что такое прокси. VPN же, это «виртуальная частная сеть». Как и в случае с прокси, посредством VPN клиент может соединиться с удалённым сервером через промежуточный. Основным различием является уровень сетевой модели OSI , на которых работают эти две технологии.

Прокси работает на самом высоком, прикладном уровне. Поэтому, чтобы обеспечить работу какого либо приложения через прокси, это приложение нужно предварительно соответствующим образом настроить, если его разработчики вообще предусмотрели работу через прокси. Для работы через прокси не требуется специальное клиентское программное обеспечение. Прокси не шифрует трафик между оконечными точками соединения. Маршрутизация всего трафика клиента через прокси - довольно сложная задача, требующая настройки множества сетевых приложений на работу через HTTP CONNECT прокси, способного туннелировать любое TCP соединение, или SOCKS5 прокси, способного передавать любые TCP и UDP пакеты.

В отличие от прокси, VPN работает на более низких, транспортном (протокол SSL), сетевом (протокол IPsec) или на канальном (протоколы PP2P и L2TP) уровнях, обеспечивая сквозное шифрование всего трафика любых приложений от устройства клиента до удалённого сервера без какой-либо их дополнительной настройки, и делая невозможным перехват трафика ISP провайдером или злоумышленниками, даже если клиенсткое устройство подключено к публичной сети WiFi. Для работы VPN необходимо специальное клиентское программное обеспечение, уже встроенное в современные операционные системы. Это могут быть и клиенты сторонних разработчиков - поставщиков VPN, которе зависимости от используемой технологии, могут быть как в виде приложений, так и в виде плагинов (дополнений) для Интернет браузеров.

Зная особенности работы этих технологий, каждый может сам выбрать для себя подходящую. Например, пользоваться VPN удобно и безопасно для веб-серфинга, при условии выбора надёжного поставщика услуги. Прокси же, незаменимы, например для парсинга, когда нужно выполнять большое количество автоматизированных соединений с разных IP адресов.