/ / Lav en downloadplanlægning med lidt programmeringsevne

Byg en downloadplanlægning med lidt programmeringsevne

Vi elsker alle at downloade ting fra internettet,og der er masser af gode download managerværktøjer, som vi kan bruge til at planlægge vores downloads. Det er måske bare nemmere at bruge en download-manager, men der er ingen skade i at udforske de værktøjer, der allerede leveres med vores Ubuntu og udnytte det fuldt ud.

I denne artikel viser vi dig en indbygget software i Ubuntu, som vi kan bruge til at downloade ting fra internettet ved hjælp af wget. Oven i det viser vi dig, hvordan du planlægger download ved hjælp af Cron.

Download ved hjælp af Wget

Wget er en gratis softwarepakke til hentningfiler ved hjælp af HTTP, HTTPS og FTP, de mest anvendte internetprotokoller. Det er et ikke-interaktivt kommandolinjeværktøj, så det kan nemt kaldes fra scripts, cron-job, terminaler uden X-Windows-support osv.

Åbn din terminal, og lad os undersøge, hvordan vi kan bruge wget til at downloade ting fra nettet. Den grundlæggende syntaks for downloading med wget er følgende:

wget [option]… [URL]…

Denne kommando vil downloade wget-manualen til dit lokale drev

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu leveres med en cron-dæmon, der bruges tilplanlægningsopgaver, der skal udføres på et bestemt tidspunkt. Crontab giver dig mulighed for at specificere handlinger og tidspunkter for, at de skal udføres. Dette er, hvordan du normalt planlægger en opgave ved hjælp af kommandolinjeværktøjet.

Åbn et terminalvindue, og indtast crontab -e.

Hver af sektionerne i en crontab adskilles afet mellemrum, hvor det sidste afsnit har et eller flere mellemrum i det. En cron-post består af minut (0-59), time (0-23, 0 = midnat), dag (1-31), måned (1-12), ugedag (0-6, 0 = søndag), kommando. Den tredje post i ovennævnte crontab downloader wget.pdf kl. Den første post (0) og den anden post (2) betyder 02:00. Den tredje til den femte post (*) betyder ethvert tidspunkt på dagen, måneden eller ugen. Den sidste post er wget-kommandoen til download af wget.pdf fra den specificerede URL.

Det er det grundlæggende på wget, og hvordan Cron fungerer. Lad os tage en tyvegods med et ægte eksempel på, hvordan man planlægger en download.

Planlægning af download

Vi vil downloade Firefox 3.6 kl. 02. Siden vores internetudbyder kun giver en begrænset mængde data, er vi nødt til at stoppe downloadet kl. Sådan ser opsætningen ud.

Ignorer de første 2 poster i ovennævnte crontab. Den tredje og fjerde kommando er de eneste 2 kommandoer, du har brug for. Den tredje kommando opsætter en opgave, der vil downloade Firefox kl. 2:

[kode]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/kode]

Valgmulighederne -c angiver, at wget skal genoptage den eksisterende download, hvis den ikke er afsluttet.

Den fjerde kommando stopper wget kl. 8. ‘Killall’ er en unix-kommando, der dræber processer ved navn.

[kode]
0 8 * * * killall wget
[/kode]

Killall-wget beder Ubuntu om at stoppe wget fra at downloade filen kl. 8 AM.

Andre nyttige wget-kommandoer

1. Specificering af biblioteket for at downloade en fil

[kode]
wget –output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/kode]

indstillingen –output-dokument giver dig mulighed for at specificere kataloget og navnet på den fil, du downloader

2. Download et websted

wget er også i stand til at downloade et websted.

[kode]
wget -m http://www.google.com/profiles/zainul.franciscus
[/kode]

Ovenstående kommando vil downloade hele min Google-profilwebside. Indstillingen '-m' fortæller wget om at downloade et 'spejl'-billede af den specificerede URL.

En anden vigtig mulighed er at fortælle wget, hvor mange links det skal følge, når det downloader et websted.

[kode]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/kode]

Ovenstående wget-kommando bruger to indstillinger. Den første mulighed '-r' fortæller wget om at hente det specificerede websted rekursivt. Den anden mulighed '-l1' fortæller wget om kun at få det første niveau af links fra det specificerede websted. Vi kan indstille op til tre niveau '-l2' og '-l3'.

3. Ignorering af robotindtastning

Webmaster opretholder en tekstfil kaldet Robot.txt. 'Robot.txt' opretholder en liste over URL, som en webscrawler som wget ikke skal gennemgå. Vi kan fortælle wget at ignorere muligheden 'Robot.txt' med '-erobots = off'. Følgende kommando fortæller wget om at downloade den første side i min Google-profil og ignorere ‘Robot.txt.

[kode]
wget -erobots = slået fra http://www.google.com/profiles/zainul.franciscus
[/kode]

En anden nyttig mulighed er -U. Denne mulighed maskerer wget som en browser. Vær opmærksom på, at maskering af en applikation som en anden applikation kan krænke en webtjenesteudbyders vilkår og service.

[kode]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/kode]

Konklusion

Wget er en meget gammel skole, men alligevel hackbar GNUsoftwarepakke, som vi kan bruge til at downloade filer. Wget er et interaktivt kommandolinjeværktøj, som betyder, at vi kan lade det køre på vores computer i baggrunden uden at skulle starte et program. Tjek wget mand siden

[kode]
$ mand wget
[/kode]

at forstå andre muligheder, som vi kan bruge med wget.

Links

Wget Manual
Sådan kombineres to downloadede filer, når wget mislykkes halvvejs
Linux QuickTip: Download og fjern tarring i et trin