От Туда вытаскиываеться уникальные Ид пользователей.
С каждой страници по 20 ид примерно.
- Страниц 3000
Есть идея разбить это на части..по 100 страниц
Парсинг 100 страниц заберет 40 секунд.
Что нагружается и как?
Это получаеться я делаю 3000 коннектов к серваку и его нагружаю.
Дайте советы.Кто как делал.
Как себя скрыть..)?
Спустя 58 минут, 53 секунды (7.08.2009 - 17:31) kirik написал(а):
Как id выглядят?
Спустя 3 часа, 49 минут, 9 секунд (7.08.2009 - 21:20) Oyeme написал(а):
1nhgbd2cbf
zbpiaq1fbf
za9wayrxbf
jaqxbfj7bf
cob6ag7xbf
jo7gbrhxbf
j43han21bf
hk1facf7bf
z23gao23bf
j6gna361bf
j8j6boi2bf
zxc9bpn5bf
z0g6aj6obf
n8g4awupbf
nccybip8bf
ahhqay2fbf
cnuibgq8bf
nu2mbdy1bf
я ищю идею
Ид - вытаскиваю регуляркой.
zbpiaq1fbf
za9wayrxbf
jaqxbfj7bf
cob6ag7xbf
jo7gbrhxbf
j43han21bf
hk1facf7bf
z23gao23bf
j6gna361bf
j8j6boi2bf
zxc9bpn5bf
z0g6aj6obf
n8g4awupbf
nccybip8bf
ahhqay2fbf
cnuibgq8bf
nu2mbdy1bf
я ищю идею
Ид - вытаскиваю регуляркой.
Спустя 1 час, 50 минут, 11 секунд (7.08.2009 - 23:10) kirik написал(а):
| Цитата (Oyeme @ 7.08.2009 - 08:32) |
| Как себя скрыть.. |
Тут только одно предложение. Не хочешь нагружать сервер - не нагружай. Поставь парсится одну страницу в секунду, 3к страниц за час где-то отпарсишь.
Спустя 2 часа, 39 минут, 6 секунд (8.08.2009 - 01:49) Oyeme написал(а):
| Цитата (kirik @ 7.08.2009 - 20:10) | ||
Тут только одно предложение. Не хочешь нагружать сервер - не нагружай. Поставь парсится одну страницу в секунду, 3к страниц за час где-то отпарсишь. |
ну вот,как я и думал - мысли сошлись.
Я думал секунды 3
Спустя 9 часов, 18 минут, 4 секунды (8.08.2009 - 11:07) PandoraBox2007 написал(а):
у тебя парсится сразу или с ридеректом на шаги выполнения ?
Спустя 5 минут, 58 секунд (8.08.2009 - 11:13) Oyeme написал(а):
ридеректов никаких нет.