Всем привет, написал свой парсер, работает он хорошо, почти на любом сайте.
Но на одном сайте случилась загвостка - не хотел работать - точнее преобразуя текст с кодировкой UTF-8 в cp1251 используя функцию iconv - HTML страница преобразовалась на половину - остальная часть просто удалялась.
Решил проверить почему так происходит - просматрел страницу которая преобразовывается на половину в браузере - обнаружил что она преобразуется до этого спец символа
http://i004.radikal.ru/1409/6b/75a0032aa218.png
Все что находится за ним просто удаляется, включая и этот спец символ.

Решил проблему следующим образом, добавил удаление этого спец символа со страницы, теперь все хорошо работает как и раньше.

$html=str_replace(array("\r", "\n", "\s", "в‚Є"), '', $html);

Но я сомневаюсь что подобных символов мало которые препядствуют правильной работе iconv.

Хочу спросить у вас как можно удалить все подобные символы из строки? есть ли их список, либо какая та функция в php?

там по другому должна быть перекодировка, в сущности по сути


поищи в гугле convmap utf-8 to cp1251

либо mb_convert_encoding с флагом ignore


ps

у меня даже где-то есть класс для таких целей который все символый utf-8 которых нет в cp1251 преобразует в html сущьности при выволе в браузер они отображаются нормально