Du må være registrert og logget inn for å kunne legge ut innlegg på freak.no
X
LOGG INN
... eller du kan registrere deg nå
Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vær snill å vurder å slå av annonseblokkering, eller å abonnere på en reklamefri utgave av nettstedet.
AbonnerSkjul
Host1.no - Webhotell fra 29,-, virtuell server fra 249,-. 15% rabatt med rabattkode "nFF". Besøk oss på Host1.no!
  6 1089
tanx
259 36
20. januar 2016
Hei,

Flytt den gjerne om posten er er postet feil:

Jeg lurer på om det er noen muligheter / finnes noen script som lar det gjøre å laste ned alle bilder som postes i en spesifik kategori på sider f.eks 9GAG eller Imgur?

Jeg har googlet meg frem uten noe nevneverdig resultat annet enn muligheten for å laste ned X ant bilder fra et nettsted. Er det noen her inne som har en klok løsning på dette?

På forhånd, takk!
Slæsken
1.615 399
20. januar 2016
Tror ikke pcen din vil ha plass til å laste ned ALLE bilder ifra kategoriene.
Husk at det sikkert legges ut 10.000 bilder i minuttet om ikke mer.
tanx
Trådstarter
259 36
20. januar 2016
Dette er en ganske liten og spesifik kategori, derav spørsmålet mitt! Plass skal nok gå greit!
Jurgen1337
Disippel
Jurgen1337's Avatar
1.079 375
20. januar 2016
Jeg lagde noen lignende en gang for å scrappe bildr.no eller artige.no (husker ikke helt) på en enkel måte. Det fungerte knall det fordi filnavnene til bildene hadde en logisk rekkefølge, for eksempel et tall som økte med +1 for hvert nye bilde. Ser nå med første øyekast på 9gag at URL til hvert bilde ser helt random ut. Kan hende at de ikke ønsker det?
tanx
Trådstarter
259 36
20. januar 2016
Du ser noe vesentlig der, Jurgen1337! Får håpe noen kanskje sitter på en smart løsning...
snippsat
snippsat's Avatar
1.393 716
20. januar 2016
Skrev for et på siden en løsning for 9GAG,
dette var et svar jeg ga da noen lurte på hvordan scrape sider som har "infinity scroll".
Testet den nå og fungere forsatt,
her en demo i Juptyer notebook.

Er skrevet i Python,
bruker her litt mere avanserte teknikker en helt basic web-scraping.

Kort forklaring bruker Selenium med PhantomJS og gir kildekode til BeautifulSoup,
lager sider(som ikke finnes) ved og bruke "window.scrollTo(0,100000000000)
Denne scroller da for med,
og et Ajax call til server blir gjort og nye bilder lastes inn.
OrderedSet set brukt for og få et bildene i same rekkefølge som 9GAG.
Selvfølg ikke viktig når man laster ned bildene.

Viss du ikke har brukt Python før,
tror jeg nok dette blir litt og sette seg inn for og få installert dette
Sist endret av snippsat; 20. januar 2016 kl. 17:52.
Goophy
pls
Goophy's Avatar
4.629 1.276
20. januar 2016
Scrape imgur er veldig lett.

http://imgur.com/r/#kategori#/new/page/1/hit?scrolled

Bare å laste sider helt til du får to like responser på rad.