Авторизация на сайте HR (Страница 1 из 2)

Да уж, не просто далось это...

В общем так.
При просмотре формы отправки запроса на авторизацию видим, что кроме параметров username и password есть ещё один - _xsrf с каким-то значением. Это значение для всех разное и периодически меняется. xsrf - защита, которая придумана специально от межсайтовых подделок запроса и таких как мы с вами.
Как в батнике получить это значение из загруженной страницы? Я не знаю. Но зато увидел, что это значение также засвечивается в куках, когда просто заходишь на сайт.
Поэтому план был примерно такой:
Сделать запрос на сайт с помощью Curl и в параметрах указать сохранение значений кук в файл, потом прочитать файл и выдернуть оттуда значение кода _xsrf.
Потом сделать уже настоящий запрос на авторизацию с передачей параметров, в том числе и этого кода (вместе с использованием файла куков).

Быстро сказка сказывается, да только пока выяснишь, что именно этому гаду надо и почему авторизация не проходит, а возвращает код internal-error, перепробовать пришлось тысячу способов и тестов, чтобы отследить и его кучу перенаправлений и проч.

У меня к вам вопрос, у вас, когда вы на сайт заходите тоже перенаправляет на поддомен вашего региона? Если да, то, возможно, в следующих примерах нужно будет заменить везде домен с hh.ru на perm.hh.ru или типа того.

Также, методом тыка выясняется, что для успешной авторизации нужны куки. Всякие hhuid, hhtoken и прочие.
Делал тесты с заходом на страницу и авторизацией через браузер и просматривал какие запросы идут и какие ответы мы получаем через программу Charles. Хотя это можно делать и любой другой программой, плагином в браузере или в инструментах разработчика в самом браузере. Неважно.
Т.к. charles - это прокси, то, чтобы посмотреть как идут запросы от самого curl можно в его ключах указывать -x "http://localhost:8888" и все запросы будут проходить через него. Для прослушки запросов https, нужно в настройках Чарлис добавить домены в Proxy Settings - SSL, locations - add - host: hh.ru, port: 443 (и также для *.hh.ru).

Также по ключам curl:
-L - следовать всем перенаправлениям (а сайт hh.ru делает из массу при каждом запросе)
-c "cookies-hh.txt" - создавать и сохранять полученные в ответах установку кук в файл
-b "cookies-hh.txt" - использовать файл со значениями кук в запросах
--insecure - просто ключ, говорящий не обращать внимание на не доверенные https соединения (у меня без этого ключа https запросы не проходили).
--data "..." - эт понятно, данные POST запроса.

Методом научного тыка и исследований выяснил, что установка значений кук происходит по такому запросу:
http://hhid.ru/validate/;http;hh.ru;80;/  - это один из адресов, куда было перенаправление. Если мы сделаем запрос такой странички командой

curl -L -c "cookies-hh.txt" "http://hhid.ru/validate/;http;hh.ru;80;/" > nul

Мы получим в файл cookies-hh.txt кучу кук, которые нам пригодятся.

А вот с вытаскиванием из этого файла значение _xsrf тоже пришлось применять смекалку и попахать гугл. Чтобы в итоге в одну красивую строку уместить получение всех значений кук из файла в переменные окружения:

for /f "tokens=6,7 skip=3" %%G in (cookies-hh.txt) do set %%G=%%H

Вот эта строка в батнике читает файл cookies-hh.txt, по умолчанию разделители (delims) - пробел и указываем, какие из значений столбцов (6 и 7) брать и потом командой
set %%G=%%H устанавливаем переменные с прочитанным именем и значением.
После этого, например, можно сделать команду: echo %_xsrf%  - выведет значение этого кода.

Тэкс. Ну и всё, Потом уже делаем POST запрос авторизации по адресу https://hh.ru/account/login с указанием всех параметров.

Вот такой вот батник у меня получился:

@rem Делаем запрос страницы, чтобы получить куки в файл
curl -L -c "cookies-hh.txt" "http://hhid.ru/validate/;http;hh.ru;80;/" > nul

@rem Считываем построчно файл cookies-hh.txt 
@rem и заносим значения кук в переменные окружения по их именам

for /f "tokens=6,7 skip=3" %%G in (cookies-hh.txt) do set %%G=%%H

@rem Теперь в переменной %_xsrf% у нас хранится значение кода
@echo %_xsrf%

@rem Делаем запрос авторизации на сайт с указанием параметров для POST запроса
curl -b "cookies-hh.txt" -c "cookies-hh.txt" -L --insecure --data "username=WendyH%%40mail.com&password=****&backUrl=http%%3A%%2F%%2Fhh.ru%%2F&action=%%D0%%92%%D0%%BE%%D0%%B9%%D1%%82%%D0%%B8&_xsrf=%_xsrf%" "https://hh.ru/account/login" > answ1.html

@rem Теперь можно запрашивать личные страницы
curl -b "cookies-hh.txt" -c "cookies-hh.txt" -L --insecure "http://hh.ru/applicant/resumes/short?resume=" > answ_resume.html

Заметьте, там где в запросе должен быть знак процента %, в батнике нужно его дублировать, ибо он используется для работы с переменными.

А скажите, если не секрет, зачем вам скрипт обновления резюме? Оно так часто меняется?

Чёрд
HH артачится
сначала получилось удачно авторизоваться
теперь:
Извините, сервис временно недоступен. Попробуйте чуть позже
Заметил ещё, что кнопка
action=Войти
меняется на
action=Войти в личный кабинет
ещё один момент
параметр _xsrf в сохраненных куках разнится с тем что выдает сам сайт в анализе через консоль.
Ещё при попытке использовать http://perm.hh.ru/applicant/resumes/touch без заголовка -H "User-Agent:

С идентификатором как браузер 405: Method Not Allowed
поэтому последний запрос у меня выглядит сейчас во так:

curl -X POST -b "cookies_hh.txt" -c "cookies_hh.txt" -L --insecure "http://perm.hh.ru/applicant/resumes/touch" -H "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2450.0 Iron/46.0.2450.0 Safari/537.36" --data "resume=***&undirectable=true" > upd_resume.html

UPD
с авторизацией разобрался всё работает, но обновить резюме пока не получается.
UPD2
так странно, а вот создание резюме работает http://perm.hh.ru/applicant/resumes/short?resume=
"Обновить" - единственная кнопка которая пока отказывается работать, остальные редактировать и другие срабатывают без проблем.

Ну это нормально

UPD
Этот заголовок сыграл решающую роль в работоспособности скрипта на обновление резюме.
WendyH, благодарю Вас за помощь в написании скрипта, особенно за переменную %_xsrf% которая также пригодилась для ключевого заголовка т.к. она равна параметру _xsrf необходимому для авторизации.
Задача полностью выполнена.

У вас лишний параметр. У Курла нет параметра "curl".
Он просто его игнорирует. Это будет эквивалентно:

curl.exe abracadabra -c "cookies_sj.txt" "http://url.com"

Просто в примерах использования не ставят разрешение .exe, ибо примеры кроссплатформенны, как и Курл. Пот виндой тоже не обязательно расширение указывать при запуске, он ищет сам exe, cmd, bat с таким именем. Но да это никак ни на что не влияет. Это я так, "зануда мод" включил.
Кстати, вспоминаю Windows 95/98, как один из векторов атаки - создание одноименного системного файла, только с расширением .com (простой не PE исполняемый файл, наследие DOS), например, папке Windows\System32 можно было расположить calc.com и именно он будет запускаться, если кто-то наберёт "calc". Потому как .com расширение искалось первым, а потом .exe. Или даже .bat первым, уже и не помню..

А разница в батнике и командной строке - как мы все помним, в знаках процента.
Т.к. в батниках этот знак используется для определения переменных, то его там нужно двоить.
Лично я на эти грабли с постоянной периодичностью наступаю.

Командная строка:

curl -c "cookies_sj.txt" --data "returnUrl=http%3A%2F%2Fwww.superjob.ru%2F&LoginForm%5Blogin%5D=email&LoginForm%5Bpassword%5D=*****" "http://www.superjob.ru/user/login/" > answSJ.html

Содержимое батника:

curl -c "cookies_sj.txt" --data "returnUrl=http%%3A%%2F%%2Fwww.superjob.ru%%2F&LoginForm%%5Blogin%%5D=email&LoginForm%%5Bpassword%%5D=*****" "http://www.superjob.ru/user/login/" > answSJ.html

Здравствуйте ,уважаемые знатоки.В недалеком прошлом,загорелся идеей сделать такую же утилиту,как у Mr. Oompaloomp,однако разобраться с подсказками,которые давал  Mr.WendyH,не так то просто.Вернее ваще нихера не понимаю как это все должно быть..)
Цель моего пути в мир программирования - прога,благодаря которой будут обновляться вакансии на сайтах без моего участия,но по моему заданному хотению).Не имею понятия,как начать этот процесс.
Куки - не показывает ни моей авторизации,ни действий с кнопкой сайта.кроме __utmc __utmz __utmb __utma нечего взять.
Я ,собственно,прошу подсказок,самоучителей,подзатыльников по вопросу программирования в Delphi либо Java..но с уклоном в сторону написания такой программы.
Благодарю вас,судари.

WendyH,премного благодарен за столь быстрый ответ и за ,собственно,дельный совет.
Да,в действительности,я ставлю себе задачи и выполняю их.Обратившись за помощью к людям,знающим свое дело,я понял,что поспешил.Ресурсов не хватит пока что..Ну,или знаний..Итог один.Я сделаю так или иначе то,что хочу.Вопрос во времени и моей скорости обучаемости. )
За выбор языка,нашел тут такую штуку прикольную..   http://pikabu.ru/story/kakoy_yazyik_pro … at_3020594
Уже решил ,что начну с азов.
Если глянули картинку,то буду энтом   

А не проще curl использовать?

Ну есть совсем радикальный способ: https://xakep.ru/2011/02/17/54728/

Коллеги, доброго времени суток
во первых хотелось бы ещё раз поблагодарить уважаемого WendyH за его помощь в преодолении проблем возникших на тот момент времени.
Далее, над кодом и его дальнейшей оптимизацией, для авторизации и выполнения определенных действий запросами посредством curl, на тот момент времени работал несколько месяцев.
Представляю готовые решения которые работали в конце 2015 начале 2016 годов с того момента работоспособность не проверялась, итак:

echo off

:: ***************** Обновления резюме на SuperJob.ru **************

:: Устанавливаем переменные

set login=логин - заменить на свой
set passw=пароль - заменить на свой

:: Делаем запрос авторизации на сайт с указанием параметров для POST запроса

curl -L -c "cookies_sj.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "http://www.superjob.ru/user/login/" --data "returnUrl=http%%3A%%2F%%2Fwww.superjob.ru%%2F&LoginForm%%5Blogin%%5D=%login%&LoginForm%%5Bpassword%%5D=%passw%" >> answSJ.html

:: answSJ.html - этот файл проверки работоспособности запроса

:: Считываем построчно файл cookies_sj.txt
:: и заносим значения кук в переменные окружения по их именам

for /f "tokens=6,7 skip=3" %%G in (cookies_sj.txt) do set %%G=%%H

curl -L -b "cookies_sj.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" -x "socks5://localhost:9150" http://www.superjob.ru/user/resume/ >> reslistSJ.tmp

:: Получаем ID резюме которое будем обновлять

"\путь_к_файлу\sed.exe" -n "/update_datepub.html?id=/s/^.*\(update_datepub.html?id=[^\"]*\)\".*$/\1/p" reslistSJ.tmp >> reslist.sj

del "%~dp0*.tmp"

:: Обновляем резюме на SuperJob.ru
:: Эта проверка не помню для чего, но так работало =)

for %%i in ("reslist.sj") do (
  if %%~zi==0 (
   curl -L -b "cookies.sj" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" -x "socks5://localhost:9150" "http://www.superjob.ru/resume/update_datepub.html?id=%reg_user_cv%" >> update.ok
) else (
   for /f "tokens=1" %%x in ("reslist.sj") do (curl -L -b "cookies_sj.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" -x "socks5://localhost:9150" "http://www.superjob.ru/resume/%%x" >> upd_resumeSJ.html
        )

    )
)

:: ***************** Старый запрос обновления на всякий **************

:: curl -L -b "cookies_sj.txt" -c "cookies_sj.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "http://www.superjob.ru/resume/%m2%" >> upd_resumeSJ2.html

: ***************** Обновления резюме на Rabota.ru **************

:: Делаем запрос авторизации на сайт с указанием параметров для POST запроса

set login=логин - заменить на свой
set passw=пароль - заменить на свой

curl -L -c "cookies_rab.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "[url]http://www.rabota.ru/v3_login.html[/url]" --data "mail=%rLogin%&password=%rPassw%" >> answRab.html

curl -L -b "cookies_rab.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" [url]http://www.rabota.ru/?area=v3_resumeList[/url] >> reslistRAB.tmp

:: Получаем ID резюме которое будем обновлять
"\путь_к_файлу\sed.exe" -n "/resume_last_refresh/s/^.*\(resume_last_refresh[^\"]*\)\".*$/\1/p" reslistRAB.tmp >> reslist.rab
del "%~dp0*.tmp"

:: Теперь можно запрашивать личные страницы

for /f "UseBackQ tokens=1 Delims=resume_last_refresh_" %%x in (reslist.rab) do (curl -b "cookies_rab.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "[url]http://www.rabota.ru/v3_popupMyResumeExpires.html[/url]" -H "Accept: */*" -H "X-Requested-With: XMLHttpRequest" --data "action=refresh&resumeId=%%x" >> upd_resumeRab.html
)

echo off

:: ***************** Обновления резюме на HeadHunter.ru **************

:: Делаем запрос страницы, чтобы получить куки в файл

curl -k -L -c "cookies_hh.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "https://hhid.ru/validate/;http;hh.ru;80;/" >> nul

:: Считываем построчно файл cookies_hh.txt
:: и заносим значения кук в переменные окружения по их именам

for /f "tokens=6,7 skip=3" %%G in (cookies_hh.txt) do set %%G=%%H

:: Теперь в переменной %_xsrf% у нас храниться значение кода

set login=ваш логин
set passw=ваш пароль

:: Делаем запрос авторизации на сайт с указанием параметров для POST запроса

curl -L -k -b "cookies_hh.txt" -c "cookies_hh.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "https://hh.ru/account/login" --data "username=%login%&password=%passw%&backUrl=http%%3A%%2F%%2Fhh.ru%%2F&action=%%D0%%92%%D0%%BE%%D0%%B9%%D1%%82%%D0%%B8&_xsrf=%_xsrf%" >> answHH.html

:: Получаем ID резюме которое будем обновлять

curl -L -k -b "cookies_hh.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "https://hh.ru/applicant/resumes" >> reslistHH.tmp

:: В сохраненном файле reslist.tmp ищем resume=.*
:: И все лишнее удаляем

"путь_к_файлу\sed.exe" -n "/resume=/s/^.*\(resume=[^\"]*\)\".*$/\1/p" reslistHH.tmp >> reslist.hh
del "%~dp0*.tmp"

:: Теперь можно запрашивать личные страницы
for /f "tokens=1" %%x in (reslist.hh) do (curl -L -k -b "cookies_hh.txt" -c "cookies_hh.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "https://hh.ru/applicant/resumes/touch" -H "X-Xsrftoken: %_xsrf%" --data "%%x&undirectable=true" >> upd_resumeHH.html
)

echo off

:: ***************** Обновления резюме на Job.ru **************

set login=ваш логин
set passw=ваш пароль

:: Делаем запрос авторизации на сайт с указанием параметров для POST запроса

curl -L -c "cookies_job.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "http://www.job.ru/seeker/login/" --data "__LASTFOCUS=&__EVENTTARGET=ctl00%%24cpH%%24btLogin&__EVENTARGUMENT=&__VIEWSTATE=%%2FwEPDwULLTE2NDE0OTA4NDMPFgIeE1ZhbGlkYXRlUmVxdWVzdE1vZGUCARYCZg9kFgICAg9kFgICCw9kFgICAw9kFgJmD2QWAgICDxYCHgdWaXNpYmxlaGQYAgUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgEFGWN0bDAwJGNwSCRjYkRvTm90UmVtZW1iZXIFEWN0bDAwJGNwSCRtdkxvZ2luDw9kZmRlIZ8dshCJL6mrRyCmiO1Fs3X%%2Btg%%3D%%3D&ctl00%%24cpH%%24tbEmail=%login%&ctl00%%24cpH%%24tbPassword=%passw%" >> answJOB.html

curl -b "cookies_job.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "http://www.job.ru/seeker/user/cv/" >> reslistJOB.tmp

:: Получаем ID резюме которое будем обновлять

"\путь_к_файлу\sed.exe" -n "/cv=/s/^.*\(cv=[^\"]*\)\".*$/\1/p" reslistJOB.tmp >> reslist.job
del "%~dp0*.tmp"

:: Обновляем резюме на Job.ru

for /f "UseBackQ tokens=1 Delims=cv=" %%x in (reslist.job) do (curl -b "cookies_job.txt" -c "cookies_job.txt" -A "Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0" "http://www.job.ru/seeker/user/cv/ajax.ashx" --data "ahhc=TmeJobs.Web.Seeker.AjaxHandlers&ahhm=UpdateCv&ahass=TmeJobs.Web&ahargs=%%5B%%x%%5D&cache=1455608769139" >> updresJOB.html
)

Всем здравствуйте!

Предлагаю решения, реализованные на AutoIt  и  Python.

По аналогии будет работать на rabota (стоит только заменить имена полей).
Примечание: чтобы сократить код и лишние действия  достаточно  предварительно через браузер  IE  авторизироваться ( принять при этом предложение сохранить пароль) и можно в коде сразу переходит к обновлению без авторизации. Аналогично поступаем с рекламой  (появляется на rabota при нажатии обновить).

Примечание: access_token берем отсюда  https://dev.hh.ru/admin

Проверил коды реализации на  curl + sed  от Oompaloomp :
1)  SuperJob – не получилось обновить, при том что reslist.sj заполнен корреткно!?
Примечание: в исходном коде закавычил http://www.superjob.ru/user/resume/ , иначе вызывало ошибку.

2) По всем остальным всё получилось. Правда для Job данная строка "__LASTFOCUS=&__EVENTTARGET …  не прошла, заменил на

"http://www.job.ru/employer/login/" --data "tbEmail=***&tbPassword=***"

В принципе ещё остается организовать запуск по расписанию, но эту реализацию  предлагаю следующим участникам. И главное, не забывайте делиться этим на форуме 

Надеюсь, что размещенный материал кому-то будет полезен и сэкономит время.
Благодарю участников форума: Oompaloomp, WendyH и d1mas  за отклик и информацию!

Всем удачи и успехов!

И не победите. Как бы для этого она и нужна, чтобы программно было невозможно авторизоваться без участия человека.

Другое дело, что она включается обычно при частых или неверных запросах. И включается на время. Т.е. при обычных обстоятельствах её (защиты капчей) там быть не должно.

Попробовал без прокси, всё равно авторизация упирается в капчу.
Если в браузере в этом же сеансе выйти из лк и снова авторизоваться тоже появляется гугло-капча.

Интересно)
запустил старый скрипт, авторизовался, получил список резюме, капчи нет
UPD
Резюме обновилось