Du må være registrert og logget inn for å kunne legge ut innlegg på freak.no
X
LOGG INN
... eller du kan registrere deg nå
Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vær snill å vurder å slå av annonseblokkering, eller å abonnere på en reklamefri utgave av nettstedet.
  12 2691
God Morgen Freaks!

Jeg leker litt med tanken om å scrape en del telefonnummer fra 1881 til et prosjekt jeg har gående. lover/regler og etikk kan man sette til side for denne diskusjonen.

Har søkt en del rundt og satt meg til dels inn i HTML delen deres.
Ser ut til å være en grei struktur. Men nå er jeg ingen 1337hax0r eller analytiker og kan ikke skryte av at jeg gjør dette så ofte. Men alle må begynne et sted.

Siden denne siden er norsk og virker til å være lite utprøvd velger jeg å høre med de beste freaks'a i verden.

Sitter noen med en lur strategi her?

Jeg ønsker å hente ut navn, adresse og tlf.
Det som er litt av cluet er at jeg ønsker å scrape kun de opplysningene som finnes i en spesifik by feks "alle tlf nr, navn og adresser i BERGEN"
Jeg har sett en del youtubevideoer nå men de er som oftest relatert til en spesifikk taktikk.

Velger å bare anta at det å scrape 1881 ikke vil bli en superenkel sak. De lever trossalt av databasen og har sikkert gjort sitt for å beskytte den.

Takker for alle svar, pekepinner og linker som evt måtte komme.
Eneste problemet jeg kan se er at 1881 antagelig har sperre for hvor mange telefonnummer du kan slå opp på et gitt tidsrom. Så du må nok spre trafikken over på flere noder hvis du skal gjøre veldig mange oppslag.

EDIT: Du for bygge opp ditt eget botnet
Sist endret av 0xFF; 29. november 2017 kl. 10:15.
pengejeger
Natz's Avatar
Trådstarter
Sitat av 0xFF Vis innlegg
Eneste problemet jeg kan se er at 1881 antagelig har sperre for hvor mange telefonnummer du kan slå opp på et gitt tidsrom. Så du må nok spre trafikken over på flere noder hvis du skal gjøre veldig mange oppslag.

EDIT: Du for bygge opp ditt eget botnet
Vis hele sitatet...
Jau. Nå er det så slik at jeg til dels har tilgang til et.
Rettere sagt. Jeg jobber hos en bedrift som har kraftig pågang mot 1881. Tidligere opplevde vi å bli sperret, but some deals were made and hands shaken. Nå opplever vi aldri dette lengre. Det er snakk om ca 24000 oppslag.

Nå skal det sies at jeg på "gammelmåten" greide å hente ut 3000 stk på ca 30 minutter. Drygt. Men om det er eneste måten må en bare brette opp armene.
1881 har jo et API, ville sett på det som en mulighet. Sånn uten å gå altfor hardt inn i dokumentasjonen deres ser det ut til å levere hva du er ute etter.
Alle disse opplysningstejenstene bygger ikke opp databasen sin selv. Det er en autoritativ kilde for telefonopplysning. Men tipper du må godkjennes som opplysningstjeneste selv før du får tilgang.
pengejeger
Natz's Avatar
Trådstarter
Sitat av fuzzy76 Vis innlegg
Alle disse opplysningstejenstene bygger ikke opp databasen sin selv. Det er en autoritativ kilde for telefonopplysning. Men tipper du må godkjennes som opplysningstjeneste selv før du får tilgang.
Vis hele sitatet...
Det er jeg kjent med. Derfor velger jeg scraping. Om dere lurer skal dataen inn i et selvutviklet CRM på sikt.

Ser nå at jeg ordla meg på en slik måte at det høres ut som jeg tror 1881 er de eneste med denne databasen.
Sist endret av Natz; 29. november 2017 kl. 12:40.
Sitat av Natz
Det er jeg kjent med. Derfor velger jeg scraping.
Vis hele sitatet...
Skrev en rask test,brukte Selenuim(med PhantomJS som driver) sender kilde kode til BeautifulSoup.
Tok ut som test i BeautifulSoup navn eller firma navn på nummer søket.

API er veien gå her,du må godkjennes viss dette skal brukes i kommersielt perspektiv.
Det og prøve og snike inn tjenesten med web-scraping er uansett ikke lurt.
Det er også vanskelig som vist under her.

Det jeg gjør over her så sperres IP-adresse etter kun 2-3 søk.
Nå har jeg VPN,så kunne teste er par nummer.

Kode

<h1> Din IP adresse <b>85.xxx.xxx.xxx</b> er midlertidig sperret for bruk av 1881.no!</h1>
mulig du kan bruke denne her på en eller annen måte?
http://kampanje.regnskapstall.no/api
pengejeger
Natz's Avatar
Trådstarter
Sitat av Thrashcan Vis innlegg
mulig du kan bruke denne her på en eller annen måte?
http://kampanje.regnskapstall.no/api
Vis hele sitatet...
Jepp, måtte bite i det sure eplet å sende en søknad. Var vist ingen snarveier her. Som det også blir nevnt lengre opp i tråden er det vell ikke scraping og anbefale om du skal drive butikk med dataene.
Vær også obs på at telefonlister av den type regnes som personopplysninger og er underlagt et lovverk som må følges. Brudd kan medføre store bøter.
Dette APIet kan du bruke uten å søke om tilgang: http://api.1881bedrift.no/download/p...Search_API.pdf

Bruk "praadmin" som brukernavn og passord, f.eks: http://test.1881bedrift.pragma.no/ap...ER&format=json
Sitat av 0xFF Vis innlegg
Eneste problemet jeg kan se er at 1881 antagelig har sperre for hvor mange telefonnummer du kan slå opp på et gitt tidsrom. Så du må nok spre trafikken over på flere noder hvis du skal gjøre veldig mange oppslag.
Vis hele sitatet...
Dette er sant. Ihvertfall fra 180.no.

Det var en av selgere på jobben som flittig brukte 180.no for å søke opp andre bedrifter etc (har egentlig ikke peiling) Men han brukte dette så mye at den dedikerte ipen til jobben ble bannet. Skal man besøke 180 må man da bruke vpn / 4g
Sist endret av blitZz96; 29. november 2017 kl. 21:37.
pengejeger
Natz's Avatar
Trådstarter
Sitat av blitZz96 Vis innlegg
Dette er sant. Ihvertfall fra 180.no.

Det var en av selgere på jobben som flittig brukte 180.no for å søke opp andre bedrifter etc (har egentlig ikke peiling) Men han brukte dette så mye at den dedikerte ipen til jobben ble bannet. Skal man besøke 180 må man da bruke vpn / 4g
Vis hele sitatet...
Feel yah. Mitt kontor er også B& derifra.