Установка интерпретатора RUBY и скрипта wayback_machine_downloader для загрузки архивных копий сайтов




Здравствуйте, уважаемые читатели! Последние годы из интернета по разным причинам стали пропадать различные любительские сайты с бесплатных хостингов. Сайт может быть как повреждён по вине недобросовестных хостеров, либо безжалостно порезан при смене владельца ресурса, а может быть банально без сожаления заброшен самим автором. Нередко пропавшие либо повреждённые сайты любителей были весьма интересными, а иногда несли и сегодня актуальную техническую информацию...

К счастью, имеется весьма прогрессивный ресурс - Internet Archive: Wayback Machine, который денно и нощно собирает резервные копии различных интернет-ресурсов по всей планете! И правда, набрав имя пропавшего сайта в адресной строке веб-архива можно получить целую биографию уже пропавшего ресурса! Однако, веб-архив не только имеет невысокое быстродействие, но даже просто загрузить весь сайт командой wget не так-то просто - повреждаются ссылки внутренних переходов, а последнее время и вовсе большую часть архива wget просто не видит.

Но не всё так беспросветно - есть простая скриптовая программа на интерпретируемом языке ruby, которая поможет загрузить архивную копию сайта с нормально работающими внутренними переходами.


Главное, нужно обязательно выставить точную дату, иначе при установке скрипта вылезет ошибка сертификата! Поскольку в микрокомпьютере сохранение часов не предусмотрено, то сразу после перезагрузки аппарат абсолютно уверен, что на дворе только что наступил Новый 1970 Год:

Потом можно уже устанавливать интерпретатор ruby:

Наконец, остаётся установить сам инструмент - скриптовый загрузчик wayback_machine_downloader:

Вот и всё! Теперь можно спокойно загружать работающие архивные копии сайтов.


Для сохранения копии сайта http://site.narod.ru в папку /site.narod.ru раздела /mnt/usbflash3 нужно запустить скрипт, предварительно указав сайт и место сохранения:

wayback_machine_downloader httр://site.narod.ru -d /mnt/usbflash3/site.narod.ru


Удачных раскопок!


Обновлено - 10.12.2018. Установщик apt-get предварительно настроен для минимизации количества устанавливаемых пакетов.


Благодарю за внимание, доброго здоровья!



Сайт работает на микрокомпьютере