Как поднять мобильные прокси на linux
Как сделать мобильные прокси
Содержание
Арбитраж трафика требует парсинга аккаунтов, фарминга, обхода блокировок и полной анонимности.
Арбитражники, которые работают с Facebook или Google Adwords, знают, как быстро банит система за нарушение правил. На практике доходит до того, что после нескольких санкций создать новые аккаунты, или же залогиниться в купленные становится невозможным.
Чтобы избежать этих проблем важно использовать proxies. Расскажем в материале, как поднять мобильные прокси самостоятельно.
Мобильные прокси заменяют реальное IP на адрес сотового оператора. Принцип базируется на том, что, когда на сервер поступает множество запросов, заблокировать их невозможно. Это не спам, а действия с устройств, привязанных к одному айпи. Арбитражники могут легко «потеряться» среди других юзеров, сделав мобильные прокси самому. Постоянные изменения данных создадут эффект «присутствия реального пользователя», что позволит обмануть алгоритмы платформ.
Преимущества мобильных прокси
Для чего нужны proxy арбитражнику
Есть возможность контроля трафика.
Экономия. Есть несколько способов как сделать мобильные прокси, цена колеблется в зависимости от выбранного метода. Сам метод зависит от задач и необходимого количества айпи в сутки. Подъем собственных IP обойдется в два раза дешевле арендованных.
Мобильные прокси самому можно сделать под конкретное ГЕО.
Как дополнительный плюс — с помощью собственной прокси-фермы можно дополнительно зарабатывать, сдавая их в аренду.
Варианты создания собственных мобильных прокси
Мы рассмотрим 4 варианта создания мобильных прокси и пошаговую инструкцию на примере сервиса «Кракен».
С помощью собственного сервера
Оборудование:
модемы с прошивкой Hilink;
симки. Выбирайте операторов с безлимитным интернетом;
сервер. Можно использовать свой ПК;
чтобы подключить USB понадобятся удлинители.
Подключение к ПК USB и модемов к хабу. Расположить их желательно на расстоянии, чтобы не «перебивали» друг друга.
Изменение веб адресов в модемах вручную.
Установка программы для создания проксей. Инструкцию как создать мобильный прокси можно найти на официальном сайте выбранной программы.
Плюсы собственного сервера: IP поднимаются на базе 4G, они надежнее и быстрее чем 3G.
Минусы: оплата интернета на каждом модеме, не всегда работает стабильно.
С помощью виртуальной машины (Virtual Box)
Это облако, которое имитирует работу ПК. Можно устанавливать на основной компьютер и не ограничиваться использованием одного vds. Все действия происходят в самом облаке, запросы с него воспринимаются как с реального ПК. Каждая машина будет иметь свой уникальный «отпечаток».
Минусы: сам процесс поднятия мобильных прокси самому через виртуальную машину требует опыта и знаний. Для новичков рекомендуем выбрать другой способ, чтобы не ошибиться.
С помощью модема
Подключение создается через мобильный адрес с помощью модема с симкой.
Чтобы сменить айпи нужно переподключать соединение в интерфейсе или же отключить и включить в порте. Срабатывает это только с 3G. На 4G используют прошивку Hilink. Чтобы изменить айпи понадобится:
отключение от сети;
соединение с 3G, затем переподключение к 4G;
затем снова подключение к сети.
Минусы: постоянное переключение руками. С несколькими айпи это еще возможно, но для больших объемов способ не подойдет.
Преимущества: просто, подходит для 10 айпи в день.
Как поднять мобильные прокси с телефона на андроид
С этого метода можно начинать новичкам, это несложно, не нужно копаться в коде и долго разбираться.
Понадобится Android 5.0 и сервис, например, iProxy.online.
Сам процесс простой: регистрация в системе и выполнение предложенных шагов. Все это занимает не более 5 минут. Нужно только жать «далее» и система сделает все сама.
Айпи будет меняться с помощью Авиарежима двумя способами:
FreeProxy Internet Suite
Позволяет добавить компьютеры к Интернету через одно подключение. Распределяет сетевые запросы по ПК, подходит для соединения через модемы. Принимает запросы локально и передает их через сотовых операторов.
Все что нужно: ПК и FreeProxy.
После установки можно через интерфейс управлять трафиком и разделив подключение предоставить другим пк доступ к интернету.
Плюсы: бесплатное развертывание, много фич, таких как блокировка, фильтрация url и другое.
Пошаговая инструкция создания с Kraken Proxy на Linux Ubuntu
Оборудование для работы:
Собственная ферма мобильных прокси
Это поднятие мобильных прокси на смартфонах, формирование своеобразной сети IP. Создаются так, как описали выше в разделе поднятия на Андроид.
Что для этого нужно
Арбитражникам ферма может пригодиться не только для фарма аккаунтов, но и для сдачи в аренду по цене ниже рыночной.
Как выглядит мобильная ферма
Критерии выбора сервисов
ТОП 3 сервиса
Рассмотрим топовые сервисы для настройки собственных прокси. Они во многом смогут облегчить работу, а стоимость выйдет гораздо ниже покупных.
Iproxy
Главная страница iproxy.online
Приложение на Андроид, которое позволяет поднимать прокси с телефона или планшета. Приложение простое, настройка быстрая, знания кода не нужны. За 5 минут получите готовые айпи.
Минимальная цена: 350 руб в месяц
ГЕО: ЛА, Киев, Стамбул, Сингапур, Санкт-Петербург, Москва, Новосибирск, Екатеринбург, Караганда, Токио, Франкфурт.
Плюсы: Поднять можно в любой точке мира. Помогают экономить до 5 тыс руб в сравнении с арендой.
Минусы: подходит для малого количества адресов.
Mobileproxy
Главная страница mobileproxy.shop
Сервис, с помощью которого можно зарабатывать на мобильных прокси, сдавая в аренду.
Если у вас уже есть своя ферма, ее можно подключить к сервису. Также система предоставляет услуги создания фермы под запрос для дальнейшей ее монетизации.
Цена минимум на покупку готовой фермы: 77 990 руб.
смена IP по API: да
Преимущества: создание под ключ, можете монетизировать или оставить для своих целей.
Kraken-proxy
Главная страница kraken-proxy.ru
Подходит для быстрого развертывания проксей на телефоне. Создаются без проблем, не нужно вписывать маршруты, правила и прочее, что занимает много времени.
Система предоставляет возможность группировать адреса, отслеживать порты, контролировать трафик и сигнал.
Стартовая цена: 7 000 ₽
Есть тестовый период
Можно использовать API
Плюсы: быстрое подключение, надежные адреса 4G.
Сравнительная таблица
Название | Мин. цена | Пробник | ГЕО | смены по апи |
iproxy.online | 350 ₽ | 2 дня | ЛА, Киев, Стамбул, Сингапур, Санкт-Петербург, Москва, Новосибирск, Екатеринбург, Караганда, Токио, Франкфурт. | + |
mobileproxy.shop | 77 990 ₽ за готовую ферму | — | Россия | + |
kraken-proxy.ru | 7000 ₽ | + | Россия | + |
Выбор метода зависит от конечной цели. Благодаря самостоятельной настройке можно создать адреса для себя и при этом сэкономить. Вложения в такой метод как прокси-ферма в среднем окупается за 2-3 месяца. Ферму можно создать под свои задачи или для монетизации. Сдавать в аренду можно самостоятельно или же в партнерстве с другими сервисами.
Настройка мобильных прокси?
Имеется компьютер с mac os и модем мобильного оператора.
Требуется на виртуалке на windows или linux поднять мобильные прокси.
Как удобнее и проще это сделать?
Средний 2 комментария
Понятно. Ну я про это и говорил.
Вы соединились под macOs-ом с помощью этого модема и соответственно macOs сформировала сетевой интерфейс и присвоила ему IP. В настройках сети VirtualBox, во вкладке «Адаптер 1» выбираете тип подключения «Сетевой мост» и ниже выбираете «Имя» присвоив ему имя сетевого интерфейса полученного с помощью модема. Запускаете виртуалку и Guest OC (Винда или Линукс) лезут в интернет из виртуалки через этот модем, используя канал мобильного оператора.
Нет. У меня коннект менеджер стоит на винде в виртуалке. На mac os обычный домашний интернет через wifi.
Но еще раз повторюсь. После успешного подключения к интернету в конект менеджере мтс в виндовс, интернет работает от интернета mac os пока не отключу локальное подключение.
Жесть :-).
Вы хотите из Host macOS идти через ccproxy, который поднят в Guest Windows. Host связан по локалке с Guest посредством формирования сети и выдачи Guest IP-адреса. Даже, если вы отключите WiFi в macOs и поднимите интернет внутри Guest, то Guest вряд ли не сможет сообщить Host-у параметры этой сети и перестроить шлюз на себя. не знаю, надо экспериментировать.
А зачем вам такой изврат с проксей внутри Guest-а? Даже не могу представить задачи в которой это нужно.
В итоге столкнулся с такой проблемой.
Такой изврат нужен, так как модемов будет несколько. Соответственно проще поднять каждый отдельный модем в отдельной виртуалке. И все их вывести в mac os под разными локальными ip
Ага, теперь понятно. Внутри виртуалки будет ДВА сетевых соединения, одно между masOs и Виндой (локалка), второе между Виндой и провайдером (инетка). Ccproxy будет принимать пакеты из локалки и роутить их в инетку.
Кстати, там на одном скрине же указано, что в настройках сети виртуальной машины надо выбирать «Сетевой мост» и в виртуалке настроить первое сетевое соединение (локалка). После того, как модем законнектится и получит внешний IP, можно из macOs обратится к локальному адресу виртуалки с соответствующим портом (в браузере настроить прокси) и по идее запрос из macOs должен пойти наружу через прокси в виртуалке.
Moris Haos,
У меня тут немного по-другому.
В virtualbox тоже не так же как на скрине в мануале
Сейчас сделал так. Отключил полностью сеть через настройки Parallels. Проверил работоспособность модема. Включил в виртуалке сеть назад. В итоге в винде в подключениях у меня подключение через модем встало на первое место и работает.
Но теперь при включено локальном подключении не могу подключиться из mac os к ccproxy в винде
Приколько. У меня на macOs тоже 192.168.0.12 :-), а в виртуалке (VB) 10.0.2.15 если в настройках сети стоит NAT. Подозреваю, что в Parallels 10-ую сеть дает тоже NAT (Общая сеть). Но, если я в настройках сети виртуалки ставлю «Сетевой мост» и WiFi, то в виртуалке получаю 192.168.0.100.
По идее внутри виртуалки ccproxy будет висеть на 192.168.0.100 (Сетевой мост), тогда из мака надо на этот IP стучаться по нужному порту. А если 10-ая сеть, то думаю, что надо дополнительно настраивать проброс портов в настройках сети виртуалки в NAT-е.
Moris Haos, Так я выдернул модем. У меня mac os подключилась к ccproxy по ip 10.211.
Воткнул назад модем, подключился. mac os подключается к ccproxy, но отдает инет основной машины а не модема.
В общем потестил тут.
Если ставлю общая сеть, то не работает мобильный интернет, но работает ccproxy
Если сетевой мост, то работает мобильный интернет, но через ccproxy не идет трафик
Moris Haos, в firefox все и тестирую.
Как уже написал выше
Если ставлю общая сеть, то не работает мобильный интернет, но в firefox через прокси трафик идет
Если сетевой мост, то работает мобильный интернет, но в firefox через прокси бесконечно долго грузит страницу.
Moris Haos, Все решил проблему методом тыка.
В настройках сети в виртуалке поставил внутрикомпьютерная сеть. И все заработало.
Осталось разобраться как сделать пробросать портов, что бы ip был доступен в интернете.))
Как поднять мобильные прокси 3G/4G на модеме
Новая инфа по поднятию прокси на более проф. уровне-читайте по ссылке
https://vk.com/@ipv6proxy-podnimaem-mobilnye-proksi
Мы сейчас говорим о домашнем решении, которое подойдёт для бытовых нужд ))) Если у вас завалялся модемчик или парочку.
Одним из таких магазинов является airsocks.in
Не буду отрицать то что моё решение не идеальное, но это первый шаг в этом направлении. Дальше будет больше. Начнём с 1 модема. Подключим к ПК и поднимем на нём прокси, который можно будет юзать из локальной сети вместе с вашим основным инетом. Так же есть решение использовать мобильные прокси удалённо, этот способ тоже рассмотрим в продолжении статьи. Настроим рекконнект модема и смену IP адреса на свистке.
Для облегчения решения будем поднимать мобильные прокси на виртуальной машине с установленной ОС Centos7, а не на реальном железе, так как у многих его просто нет (подойдёт и старый нетбук-уже практиковал такое решение).
Что касается модемов. Тут точно не могу сказать подойдёт ли ваш. Я использую те модемы, которые при подключение создают новый интерфейс. В процессе мы дойдём до этого шага и поймёте подойдёт ли ваш модем для этих целей. Я использую модемы модели Мегафон М-150-1, Мегафон М-150-2, МТС 423S и т.п.
Установка Centos7 на VirtualBox
Для этих целей я использую образ iso минимальный пакет. Скачайте его по ссылке здесь или по ссылки с яндекс диска. VirtualBox качайте с оф сайта.
Запускаем VirtualBox и создаём новую вирт машину. Указываем любое имя а так же выбираем тип и версию как на скрине ниже
Создаём новый вирт жёский диск с 4-8 Г памяти.
Выбираем тип жёсткого диска
Динамический вирт жёсткий диск
И создаём вирт жесткий диск.
Настроим нашу вирт машину.
И выставляем все настройки как на скринах ниже
Сохраняем изменения и запускаем вирт машину.
Чтобы освободить мышку от вирт машины, нажмите правый Ctrl
Подтвердите автоматическое разбиение дисков, для этого выберете «Расположение установки» и нажмите готово.
Перейдите в «Сеть и имя узла»
Переходим наконец то к установки. Думаю вы уже наигрались правым Ctrl-ом )))
Нажимаем «Начать установку»
После создадите пароль к Root пользователю, дождётесь полной установки и перезагрузите вирт машину.
Настройка виртуальной машины и поднятие прокси
Запускаем наш виртуальный сервер с установленной ОС Centos7.
Вводим имя пользователя «root»
Тапаем Enter и вводим пароль от root что задавали ранее (ввод пароля невиден, так что не пугайтесь).
Всё мы залогинились. Первым делом посмотрим наши интерфейсы и наши ip адреса. Для этого вводим команду
Сворачиваем лишние окна. Нам нужна командная строка от сервера.
Первая команда- обновляем систему
Enter, если требует подтверждение действия, то набираем «y» и жмём ещё раз Enter.
Подключаем репозитории и устанавливаем необходимые дополнения
Обязательная утилита для сборки программ
Всё самое необходимое установили. Переходим к самому интересному — подключению 3g/4g модема к ПК и проброс USB на наш вирт сервер.
Передёргиваем наш модем, чтобы он пробросился именно на вирт машину.
Ждём немного пока модем загрузится и проверяем командой
появился ли новый интерфейс.
Как видим у меня появился новый интерфейс wwp0s6u1i2
В данный момент модем мигает синим индикатором, что говорит о том что 3g сигнал есть, но пока модем не подключился к сети. Так же у модема ещё нет ip адреса. Мы это исправим.
Для начала подключимся к сети через свисток. Для этого сначала посмотрим какие устройства определились на этом USB.
Для этого попробуем подключиться через устройство ttyUSB0
где, «internet» это точка доступа оператора мегафон.
Если после команды индикатор модема мигает то пробуем
В моём случае модем подключился по ttyUSB1 и индикатор загорелся.
Видим что ip на данный момент от нашего основного интернета что раздаётся по локальной сети.
Для того чтобы инет был от модема нам нужно поднять интерфейс от модема и присвоить ему ip. Можно воспользоваться dhcp-клиентом, но мы лучше пропишем получение ip адреса по dhcp в настройках интерфейса.
Я решил модем воткнуть не напрямую к ПК, а через активный USB хаб с доп питанием от розетки.
Вот так выглядит у меня модемы подключённые к хабу.
Думаю подойдёт любой usb хаб с активным питанием. А вот мой :
И так открыли новый тестовый док nano /etc/sysconfig/network-scripts/ifcfg-wwp0s6u1i2, в который нужно прописать следующее:
Поменяйте значения DEVICE, NAME, HWADDR на свои.
DEVICE, NAME вы уже знаете, а вот
HWADDR (мак адрес) можете узнать из команды
Вот что получилось у меня:
Сохраняем док, нажатием кнопок последовательно Ctrl+O, Enter, Ctrl+X
Проверяем и смотрим ip на модеме
И видим то что интерфейс получил ip адрес
10.215.198.64 это наш локальный ip (серый) от NAT сети оператора Мегафон.
Мы получили серый ip от оператора.
И видим что ip поменялся. Мы получаем наш ip от оператора Мегафон.
Для поднятия 1 прокси на 1 модеме 3g не нужно настраивать маршрутизацию. А вот если мы подключим 2 и более модемов на 1 сервер, то вот тут уже нам понадобится создавать таблицы маршрутизации. Мы это рассмотрим в следующей моей статье.
Установка прокси сервера 3Proxy
Устанавливаем прокси сервер 3proxy. Откроем FTP клиент, которое свернули в начале и перенесём на сервер в директорию root архив 3proxy
Открываем директорию 3proxy-0.8.8
Делаем полные права пользователя
Создаём главный конфигуратор 3proxy.cfg
И вставляем следующее содержимое:
где 192.168.0.104 это ip адрес от вашей локальной сети или оптоволокна, а 100.67.106.102 это ip от оператора Мегафон, 8000 это порт (можете указать тут любой от 2000 до 65000)
Надеюсь вы уже вкурили и понимаете что да как.
Осталось запустить наши прокси командой:
Можно проверять ваш прокси на валидность. Для этого воспользуемся браузером мазила. В настройках забиваем ip и порт.
Переходим на сайт 2ip
Вот что отобразилось у меня
Проверим на определение прокси. Жмём на Прокси: не используется «уточнить» на сайте 2ip
При этом конечно же должен быть отключён банально flash плеер
На этом статью подвожу к завершению. В следующей статье рассмотрим процесс рекконекта модема, подгрузу и влючение прокси автоматом при загрузке сервера. А так же рассмотрим подключение 2-х и более модемов на 1 сервер и поднятие на них прокси 3G. На этом всем пока, пока!
Реконнект 3g/4g модема и смена динамического ip
Для того чтобы менялся Ip адрес на модеме, нужно отключить соединение и включить. При этом поменяется белый ip адрес, что по мне не акти какое решение. И я перезагружаю модем полностью, можно по питанию рубануть модем, отключив питание на шине. Но мне это показалось немного геморойно. И я использую мне понравившиеся AT команды.
Для того чтобы ребутнуть модем, введите следующую команду:
При этом модем перезагрузится, время перезагрузки составляет 20 секунд, что вполне годно для работы.
После нужно заново подключиться к сети с модема и поднять интерфейс. Так же поменять ip адрес в конфиге 3proxy.
Чтобы не делать это всё вручную напишем простой bash скрипт.
Можете скачать скрипт по ссылке
Закачайте скрипт на сервер в паку root
и предоставьте права на выполнение
И кстати установите psmisc для того чтобы срабатывала команда killall 3proxy, что находится в скрипте
После уже можете запустить скрипт для реконнекта модема
Если вы сделали всё правильно, то модем перезагрузится и поменяется ip.
В продолжении статьи мы рассмотрим подключение 2-го модема и поднятие прокси на 2-х модемов на 1 сервере.
Управление реконнектом 3g/4g модема через зеннопостер
В продолжении статьи решил написать в начале о процессе автоматизации смены ip на модеме по средствам маленького шаблона зеннопостера на сишарпе.
Что делает шаблон- он подключается по SSH к нашему виртуальному серверу и запускает bash скрипт для реконнекта модема. Как вы уже догадались всё очень просто.
Шаблон состоит из 1 блока С#
Этот блок можете вставить куда угодно в вашем проекте.
Из входящих настроек всего 3 переменные: ip вирт сервера, имя пользователя root и пароль от вирт сервера.
Скачать шаблон можете по ссылке.
Уже скоро буду подключать 2-ва модема и более. Будьте на связи!
Видео о работе шаблона по автоматизации реконнекта модема и смена ip адреса
Давненько не писал продолжение статьи. Сегодня хочу Вам рассказать о том как сделать доступ к мобильным проксям удалённо. Например Вы сидите на работе, а модем у вас дома и надо использовать его удалённо, хоть из другого города.
Как вы уже поняли на небуке стоит Centos7. К нетбуку подключен инет по проводу от провайдера Ростелеком с динамическим ip и что самое главное нет NAT, т.е наш ip в настройках сети совпадает с тем ip что отображается на сайте 2ip.ru например.
Так же к нетбуку подключён разлоченный 4g модем с симкой от мегафона.
Забегу немного вперёд и скажу как устроен механизм удалённого доступа к моб ip адресу.
Мы подняли ip на интерфейсе wwan1 от Мегафона. Так же у нас имеется интерфейс enp7s0 от проводного инета и интерфейс wlp5s0 от wi-fi
ip как видим уже доступны на интерфейсах.
Чтобы мы получили не локальный ip адрес на нетбуке нужно в настройках роутера пробросить мост на том LAN где подключен сам нетбук.
У меня это выглядит вот так
Можно воспользоваться конечно же свитчем. Кому как проще.
LAN4- сервер linux на базе нетбука
WAN- сам инет от оператора Ростелеком
Немного разобрались как и что подключено.
Теперь настало время настройки маршрутизации. Чтобы наша схема работала и у нас был доступ к моб прокси из вне — нам нужно настроить так чтобы на сервере было 2 активных подключения. Основной и дополнительный.
Для этого создаём таблицу маршрутизации
Теперь нам нужно настроить саму маршрутицацию
NETWORK — сеть от оператора мегафон
IP — сам адрес от мегафон
При запуске скрипта командой
Будет произведён рекконект модема, настройка маршрутизации и поднятие мобильного прокси на новом ip от мегафон.
Т.к у нас ip от провайдера ростелеком динамический, то соответственно он также меняется.
Для этого я подключил Динамический ДНС от noip.com
Как настроить DDNS на Linux в этой статье я не буду рассматривать.
Для этого пишем скрипт watchdog, взятый за основу с сайта habrahabr.ru и немного видоизмененный
Ложем скрипт в крон
Скрипт каждые 5 минут будет проверять наличие соединения и если его нет — производить все настройки.
а наш прокси в не зависимости от ip будет доступен по адресу
***.sytes.net:8000 (в нашем случае порт 8000, прокси без авторизации)
Если нам нужен рекконект модема, то скрипт 4G.sh так же можете положить в крон.
Рекконект можема занимает по времени ориентировочно 40 сек.
Проверяем скорость и пинг нашего моб прокси.
На этом пока всё. ПОКА ВСЁ…)
Поделиться в соц. сетях
Похожие записи:
135 thoughts to “Как поднять мобильные прокси 3G/4G на модеме”
Если внешний айпи «полустатический», меняется примерно раз в сутки, можно как-то сделать доступ к прокси из вне?
Если Вам не сложно, напишите как добавить крон на сервер и как задать ему задачу на запуск bash скрипта раз в 10 минут.
Спасибо,очень познавательно. А как поднять больше моб. прокси? Для той же работы в соц.сетях,если например 100 аккаунтов
У меня пачка 70 аккаунтов прекрасно себя чувствует на одном свистке с перезагрузкой через 10 мин, аккаунты работают в 4 потока. Цикл работы одного аккаунта 12-15 минут.
Как раз в этом и прелесть использования мобильных прокси. Но для масштабирования нужен не 1 свисток, а хотя бы шт 5. Знаю тоже людей кто откручивает на 1 моб прокси по 100 акков и более в инсте. Пока тема живёт.
Hi, how can I connect more of two modems
The information in the closed access. I can implement You manual!
Рад помочь. Да. Я скоро напишу о том как подключить несколько модемов, настроить маршрутизацию на сервере и поднять прокси на 2-х и более модемах. Следите за обновлением статьи.