freak.no - robots.txt finnes ikke.

' freak.no - robots.txt finnes ikke.

freak.no (https://freak.no/forum/index.php)

- Web-utvikling (https://freak.no/forum/forumdisplay.php?f=67)

- - robots.txt finnes ikke. (https://freak.no/forum/showthread.php?t=294596)

First-Price

26. desember 2016 11:16

robots.txt finnes ikke.

Hei, driver og ser på nettsiden på jobb (som jeg har noe med)
og ser det har kommet en robots.txt fil, fra det blå.

denne inneholder da:

Kode:

User-Agent: sp_auditbot

Allow: /

Crawl-delay: 0



User-agent: *

Disallow: /

finner ikke filen, hverken via cpanel eller søk fra ./ på ftp

har ingen aning egentlig hvor filen kan befinne seg.
noen som har noe forslag hvordan jeg kan finne det?

Cybergasm

26. desember 2016 11:20

Bruker dere SEOprofiler?
https://www.seoprofiler.de/auditbot

Og hvor finner du den koden du referer til?

First-Price

26. desember 2016 12:28

nei, bruker ikke seoprofiler.

fant filen via www.nettadresse.no/robots.txt

Goophy

26. desember 2016 12:31

Spør de som drifter ting på/for jobben din.
Det er umulig for noen andre å svare på dette med mindre du gir oss tilgang til all infrastruktur.

fuzzy76

26. desember 2016 22:13

Det er ikke uvanlig at CMS'er bruker .htaccess og "emulerer" filer som ikke eksisterer. F.eks robots.txt. Så dette er nok en modul/plugin for publiseringsløsningen dere benytter.

Alle tidspunkt er GMT +2. Klokken er nå 19:37.