Wayback Machine аутоматско архивирање

написано: 2022-05-12, ажурирано: 2022-06-28

Недавно сам пронашао скрипту која аутоматизује слање захтева за Wayback Machine аривирање spn.sh. Скрипта је одлична и дала ми је идеју да одем корак даље и аутоматизујем извршавање и то:

са унапред решеним питањем извоза и чувања свих хипервеза интернет презентације
са додавањем cron задатка који ће да се извршава два пута годишње, у вечерњим часовима, зарад аутоматског архивирања садржаја

Очекивано, нулти корак је једноставан и своди се на преузимање spn.sh скрипте. Први и други корак захтевају мало пажње. За први сам помислио на додавање нове функционалности у scms скрипту коју користим за прављење ове презентације међутим изгледа да сам предухитрио сам себе прошле године стога све што ми треба јесте да искористим sitemap.txt датотеку коју моја скрипта креира увек. Датотека тј. мапа презентације садржи листу свих аутоматски креираних хипервеза моје интернет презентације у неозначеном текстуалном формату 3. Садржај такве датотеке већ можете да претпоставите:

https://durad.xyz/tekstovi/unix-kutija-sa-alatima.html
https://durad.xyz/tekstovi/amd-athlon-3000g.html

Циљ је додавање свих локалних веза зарад комплетности садржаја који планирате да архивирате.

Последњи корак је додавање задатка у cron листу употребом crontab -e:

0 20 1 */6 * /usr/local/bin/spn.sh /home/foo/sitemap.txt /home/foo/sitemap-2.txt

Препоручујем да проверите да ли имате anacron како би занемарили crontab -e и само додали везу до скрипте у /etc/cron.monthly. Можете да прилагодите програм себи и да направите нови директоријум попут /etc/cron.biannual и подесите да се задаци извршавају, рецимо, два пута годишње. Свакако, брза провера постојања овог програма и подешавања бих извео следећим командама:

command -v anacron
cat /etc/anacrontab

Сигурно постоји бољи начини попут провере кроз менаџер пакета стога сами бирајте пут провере. anacron је изузетан зато што ће наставити/покренути извршавање задатака уколико је рачунар био угашен у време када су задаци били заказани. Са обзиром да гасим/суспендујем рачунар врло често, не бих да тај један покушај сваких шест месеци, буде неуспешан. Такође не бих да злоупотребим Wayback Machine и често шаљем захтеве за архивирање стога је задатак код мене подешен да се понавља ретко. Верујем да се садржај другачије архивира код великих портала (аутоматски можда?) али за мене и моја два посетиоца месечно је овај процес довољан.