У нас есть такой продукт - http коннектор. Позволяет утащить любую страницу и отобразить ее на сайте. К нему есть конвертор, который позволяет конвертнуть непонятную страницу во что-то удобочитаемое. Конвертор на XSLT и пока что это означает для каждого сайта свой XSLT. Тот универсальный вариант который я набросал, к сожалению, не в состоянии выделить автоматически основной текст. Какие-то непонятные ошметки меню все равно остаюттся.