Ну это... как его, ссылки на страницы или... точнее как формируются страницы то?, из базы дергаются? или иным методом... У меня когда был говносайт, с кодом писавшемся на коленке в вагоне купе, тупо страницы создавались в папке, т.е. имя файла === имя странице, я делал простой сайт мап - тупо скан каталога, разбивал его на страницы допустим по 100, что бы гугл не офигевал, т.к. страниц было "100500", и норм, жрал гугл через гугл вебмастер с удовольствием... Если же с базой - то я думаю еще проще сделать...

Или я его то не так понял ?

Страницы формируются модулями. Модуль - это некий класс. Обращение к нему может быть как в корень по имени, так и с параметрами, сложенными в адресной строке например в таком виде /modulename/param1/val1/param2/val2/param3/val3/...... Соответственно у каждого модуля свой набор обрабатываемых параметров. Этот набор кроме самого модуля никому не известен. А чаще, каждый экшн модуля имеетсвой набор параметров. Как-то так, суть, что набор результирующих ссылок собрать хз как...

Как по мне не стоит заморачиваться - делайте паука

я б наверное написал паука и по ночам индексацию запускал бы

Неужели никому таких требований клиенты не выставляли?
Паук, конечно, дело не хитрое, но вот как-то этот вариант в последнюю очередь рассматриваю. Сейчас думаю как оптимизировать для прозрачной и быстрой работы выдёргивание ссылок из сгенерированных шаблонов. С регулярками не особо быстро получается, а уж с phpquery и подавно. Даже если асинхронно это делать, всё-равно надо как-то совсем быстро, либо по-другому.... Давайте, колитесь как реализовывали или видели реализации?

сам не смотрел, но может это какую мысль подкинет.

У меня лично все жестко, страницы( в т.ч. материалы) из бд можно получить, т.е. ни о каком парсинге из html-a речь не идет. И если честно парсинг, как то...

Michael
Спасибо, но там похоже заранее известно какие сущности имеются и какие страницы будут использоваться.

Появилась ещё одна идея: генерировать сайтмап по факту: зашёл на страницу, если её нет, то добавить в список. Ну и каким-нибудь макаром пропинговывать основные создаваемые страницы, чтобы они добавлялись в сайтмап. Так хотя бы основные страницы всегда будут актуальные в сайтмапе.
Как такой вариант?

Можно конечно и так сделать, как ты написал, но смысл сайтмапа каков?, с какой целью его создавать ?, что бы пользователи шоркались, или же для сео ?
для 1го варианта, минусы - мы не указываем всех страниц, куда можно перейти пользователю,
для 2го варианта, минусы - что будут "обрабатываться спамиться одни и те же урлы...

Собери выдачу гугла/яндекса, вот тебе и будет твой актуальный сайт мап.

Когда делаем новый сайт, выдачи никакой нет. Опыть же для сайтов с динмично меняющимся контентом (сайт из примера - доска объявлений) важно как можно скорее дать поисковикам возможность найти страницу, а не ждать, когда они сами её найдут.

Как то не совсем понятно, вначале ты пишешь - "Пишу клиенту сайт. Он давно уже запущен", так ты пишешь сайт или дорабатываешь? - если все сам писал, то почему появляется проблема создания сайтмапа? - страница в итоге, где то, как то формируется? хоть динамически, хоть статически, ты получается должен знать, как и где эта страница отобразится

Хочу сделать общий модуль не только для этого клиента, что бы и другие не ставили в тупик вопросом: "Где сайтмап?"

Я наверно малость не догоняю, вы уж простите ), общий модуль не получится, скорее всего... точнее как, модуль то написать можно, но он от каких то данных должен отталкиваться, допустим как я писал уже выше, был говноскрипт, тупа делал статику на сервере, я сканил папку с файлами, вот тебе и сайтмап, 2й вариант, юзается БД, никаких файлов нет, статики нет, все динамически через ЧПУ(допустим), тут как быть? - страница тоже не будет известна, если допустим она будет генерироваться на лету( я имею ввиду новые страницы ) и забиваться в базу. Я бы сделал так, перед, заносом в базу, писал бы все сгенеренные урлы в другую БД(сатмапа) ну или как то так.
Я к чему веду, что если ты все сам будешь в дальнейшем писать, то модуль как бы можно примотать, но как быть, если ты что то будешь ДОписывать, тут уже придется либо модуль корректировать, либо тот скрипт, под модуль корректировать.

p.s. Повторюсь, если же я опять все правильно понимаю