Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
Страницы: (4) 1 2 [3] 4  ( Перейти к первому непрочитанному сообщению )  
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Защита от парсинга, капча, куки, cron
Медведь  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 2482
Пользователь №: 37963
На форуме: 3 года, 3 месяца, 27 дней
Карма: 27




Цитата (arbuzmaster @ 14.03.2016 - 20:05)

Спасибо - буду изучать этого зверя! cool.gif

Начни отсюда - википедия


--------------------

Заходил 29.09.2016
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 395
Пользователь №: 41702
На форуме: 1 год, 3 месяца, 24 дня
Карма: 13




Цитата (arbuzmaster @ 14.03.2016 - 22:05)
Спасибо

user posted image
не за что wink.gif
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Santehnick  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Абориген
*****

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 231
Пользователь №: 26735
На форуме: 5 лет, 9 месяцев
Карма: 15




Цитата (arbuzmaster @ 14.03.2016 - 15:36)
А другое дело когда ты можешь отправлять запросы напрямую скрипту и получать от него ликвидные ссылки постоянно. Вот собственно о чем речь, как от этого защититься!

Капча или смс, если не хотите чтобы боты круглосуточно парсили контент. Но отсечет поисковых ботов. На 100% не защититься никак, скрипт может парсить капчу отправлять на антигейт, получать результат, отправлять на ваш сайт и парсить контент. Но это хотя бы уже будет требовать финансовых затрат и может потерять всякий смысл.

Любые поведенческие факторы легко автоматизируются с минимальными затратами. Ухищрения, как например на авито с подгрузкой номера телефона и генерацией картинки номера на лету толком не работает и номера всё равно круглосуточно парсят.

csrf token это вообще для решения другой задачи, никак не поможет защититься от ботов.
PM
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 395
Пользователь №: 41702
На форуме: 1 год, 3 месяца, 24 дня
Карма: 13




Santehnick, прочитайте сообщение ТС чуть раньше, ему надо, что бы ссылку на видео не могли использовать на других сайтах. token в этих случаях самое то.
PM
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
arbuzmaster  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 720
Пользователь №: 37872
На форуме: 3 года, 4 месяца, 12 дней
Карма: 21




icedfoxНет, ссылку то парсить можно, сколько угодно, мне нужно чтобы к скрипту генерирующему эту ссылку было сложно обратиться - отправив POST запрос с параметрами!


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Медведь  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 2482
Пользователь №: 37963
На форуме: 3 года, 3 месяца, 27 дней
Карма: 27




Насколько я понял CSRF не твоё.


--------------------

Заходил 29.09.2016
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 395
Пользователь №: 41702
На форуме: 1 год, 3 месяца, 24 дня
Карма: 13




arbuzmaster, давайте пример в студию того что и есть и чего хотите. Иначе ничего не понимаю biggrin.gif
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Медведь  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 2482
Пользователь №: 37963
На форуме: 3 года, 3 месяца, 27 дней
Карма: 27




Цитата (arbuzmaster @ 14.03.2016 - 19:36)
Привожу пример - есть скрипт который получает прямые ссылки на видео ролики с Youtube, так вот если например пользователь скопировал ссылку на
контент - ничего страшного в этом нет через 24 часа она уже будет не ликвидна. А другое дело когда ты можешь отправлять запросы напрямую скрипту и получать от него ликвидные ссылки постоянно.

Твой скрипт генерирует прямую ссылку?


--------------------

Заходил 29.09.2016
PMПисьмо на e-mail пользователю
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
arbuzmaster  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 720
Пользователь №: 37872
На форуме: 3 года, 4 месяца, 12 дней
Карма: 21




Вот код, в нем POST запрос, с помощью curl я могу запросто передать запрос с параметрами и в ответ получить json ответ, который распарсить можно за 5 сек. Как сделать так, чтобы это было сделать сложно?

$(document).ready(function(){
$("#video-yt-search").submit(function(){
var str = $(this).serialize();
$.ajax( { type: "POST", url: "youtube_search.php", data: str,beforeSend: function()
{


}
, success: function(msg)
{


var resp_arr=JSON.parse(msg);
//console.log(resp_arr.items);


}
}
);
return false;
});


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
arbuzmaster  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 720
Пользователь №: 37872
На форуме: 3 года, 4 месяца, 12 дней
Карма: 21




Цитата (Медведь @ 14.03.2016 - 21:35)
Цитата (arbuzmaster @ 14.03.2016 - 19:36)
Привожу пример -  есть скрипт который получает прямые ссылки на видео ролики с Youtube, так вот если например пользователь скопировал ссылку на  
контент - ничего страшного в этом нет через 24 часа она уже будет не ликвидна. А другое дело когда ты можешь отправлять запросы напрямую скрипту и получать от него ликвидные ссылки постоянно.

Твой скрипт генерирует прямую ссылку?

Да! Без этого полноценная работа сайта невозможна!


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
casper - gg  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Абориген
*****

Профиль
Группа: Пользователь
Сообщений: 216
Пользователь №: 42190
На форуме: 1 год, 3 дня
Карма: 10




на второй странице есть ссылка от меня, там как раз про аякс и заголовки описано, может это и подойдет.
PMПисьмо на e-mail пользователю
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 395
Пользователь №: 41702
На форуме: 1 год, 3 месяца, 24 дня
Карма: 13




arbuzmaster, что у тебя в ответе сервера ? Если данные на формирование видео, то какие
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Guest  
Дата
Цитировать сообщение


Гость пожелал остаться неизвестным

Unregistered









arbuzmaster
У YouTube API есть же. Плюс для прямых ссылок есть замечательная штука youtube-dl. Кому прийдет в голову парсить твой сайт?
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
arbuzmaster  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 720
Пользователь №: 37872
На форуме: 3 года, 4 месяца, 12 дней
Карма: 21




Цитата (icedfox @ 14.03.2016 - 21:52)
arbuzmaster, что у тебя в ответе сервера ? Если данные на формирование видео, то какие

json ответ с названием, описанием, прямой и косвенной ссылкой!


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
arbuzmaster  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 720
Пользователь №: 37872
На форуме: 3 года, 4 месяца, 12 дней
Карма: 21




Цитата (Guest @ 14.03.2016 - 21:52)
arbuzmaster
У YouTube API есть же. Плюс для прямых ссылок есть замечательная штука youtube-dl. Кому прийдет в голову парсить твой сайт?

Есть API! И я его пользую, но мне еще нужны прямые ссылки, Кому прийдет в голову парсить твой сайт? - может ни кому, но проще сделать один запрос с названием ролика и получить всю информацию сразу


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темыСтраницы: (4) 1 2 [3] 4  Ответ в темуСоздание новой темыСоздание опроса