De fleste seriøse/store nettsider har en fil som heter Robots.txt fil som fortelle deg om hva din scraper har lov hva den ikke har lov til å gjøre..

For eks. her har du VG sin robots.txt