Я хочу написать скрипт который "гулял" по различным сайтам и собирал инфу (зачем мне это нужно, ради интереса - в какомто роде подобие поисковика). Я могбы испоьзовать гет контент а потом регуляное вырожение. Но тогда я должен указывать страницы (кстати хорошо если бы скрипт переходил не просто по сайтам а еще и по всем страницам внутри) вручную, а это невозможно.
Ваши предложения.
Спасибо!
Спустя 40 минут, 31 секунда (9.04.2009 - 16:48) sergeiss написал(а):
А что тебе мешает переходить по ссылкам внутри?
Загружаешь страницу, находишь все ссылки, пропускаешь все внешние ссылки, и переходишь на все внутренние (для этого сайта) ссылки.
Тут надо будет только контролировать, не заходил ли ты уже на какую-то определенную страницу, т.к. на нее мог перейти раньше с другой страницы.
Так что ничего принципиально невозможного нету.
Можно и по внешним ссылкам с этого сайта пойти - кто мешает?
Загружаешь страницу, находишь все ссылки, пропускаешь все внешние ссылки, и переходишь на все внутренние (для этого сайта) ссылки.
Тут надо будет только контролировать, не заходил ли ты уже на какую-то определенную страницу, т.к. на нее мог перейти раньше с другой страницы.
Так что ничего принципиально невозможного нету.
Можно и по внешним ссылкам с этого сайта пойти - кто мешает?
Спустя 10 минут, 55 секунд (9.04.2009 - 16:59) apc написал(а):
Ну а откуда мне стартовать (с какого адреса)?
Спустя 5 минут, 18 секунд (9.04.2009 - 17:05) sergeiss написал(а):
Интересный ты какой 
Если ты сам не знаешь, то как ты это объяснишь своему скрипту? Хотя бы что-то ты должен начальное указать.
Иначе получается как в сказке "иди туда, не знаю куда, найти то, не знаю что".
Если ты сам не знаешь, то как ты это объяснишь своему скрипту? Хотя бы что-то ты должен начальное указать. Иначе получается как в сказке "иди туда, не знаю куда, найти то, не знаю что".
Спустя 3 часа, 28 минут, 39 секунд (9.04.2009 - 20:33) apc написал(а):
Я имею ввиду с какой странички начинать... Думаю гугл.ру подойдет =)
Спустя 59 секунд (9.04.2009 - 20:34) HardWoman написал(а):
Стартуй отсюда
Спустя 19 минут, 51 секунда (9.04.2009 - 20:54) kirik написал(а):
| Цитата (apc @ 9.04.2009 - 12:33) |
| Думаю гугл.ру подойдет =) |
Толку?
Там 6 ссылок всего.| Цитата (HardWoman @ 9.04.2009 - 12:34) |
| Стартуй отсюда |
++
Спустя 12 часов, 46 минут, 59 секунд (10.04.2009 - 09:41) apc написал(а):
Думаю лучше подайдет какойнибудь каталог сайтов
Спустя 58 минут, 35 секунд (10.04.2009 - 10:40) Семён написал(а):
я не вижу смысла делать паука на скриптах....
для этого придётся писать под Delphi / С++ по своему желанию...
для этого придётся писать под Delphi / С++ по своему желанию...
Спустя 4 часа, 19 минут, 44 секунды (10.04.2009 - 14:59) apc написал(а):
Главное концепция, а язык это всего лишь инструмент))