Du må være registrert og logget inn for å kunne legge ut innlegg på freak.no
X
LOGG INN
... eller du kan registrere deg nå
Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vær snill å vurder å slå av annonseblokkering, eller å abonnere på en reklamefri utgave av nettstedet.
  4 1264
Hei, driver og ser på nettsiden på jobb (som jeg har noe med)
og ser det har kommet en robots.txt fil, fra det blå.

denne inneholder da:

Kode

User-Agent: sp_auditbot
Allow: /
Crawl-delay: 0

User-agent: *
Disallow: /
finner ikke filen, hverken via cpanel eller søk fra ./ på ftp

har ingen aning egentlig hvor filen kan befinne seg.
noen som har noe forslag hvordan jeg kan finne det?
Bruker dere SEOprofiler?
https://www.seoprofiler.de/auditbot

Og hvor finner du den koden du referer til?
Steco.Me
First-Price's Avatar
Trådstarter
nei, bruker ikke seoprofiler.

fant filen via www.nettadresse.no/robots.txt
Spør de som drifter ting på/for jobben din.
Det er umulig for noen andre å svare på dette med mindre du gir oss tilgang til all infrastruktur.
Det er ikke uvanlig at CMS'er bruker .htaccess og "emulerer" filer som ikke eksisterer. F.eks robots.txt. Så dette er nok en modul/plugin for publiseringsløsningen dere benytter.
Moderer