Hei, driver og ser på nettsiden på jobb (som jeg har noe med)
og ser det har kommet en robots.txt fil, fra det blå.
denne inneholder da:
Kode
User-Agent: sp_auditbot
Allow: /
Crawl-delay: 0
User-agent: *
Disallow: /
finner ikke filen, hverken via cpanel eller søk fra ./ på ftp
har ingen aning egentlig hvor filen kan befinne seg.
noen som har noe forslag hvordan jeg kan finne det?