Nu, a roboți. fișierul txt nu este necesar pentru un site web. Dacă un bot ajunge pe site-ul dvs. web și nu are unul, va accesa site-ul dvs. cu crawlere și va indexa paginile așa cum ar face de obicei. … fișierul txt este necesar doar dacă doriți să aveți mai mult control asupra a ceea ce este accesat cu crawlere.
Ce se întâmplă dacă nu aveți roboți txt?
roboți. txt este complet opțional. Dacă aveți unul, crawlerele conforme cu standardele îl vor respecta, dacă nu aveți, tot ce nu este interzis în elementele HTML-META (Wikipedia) este crawable. Site-ul va fi indexat fără limitări.
Pot șterge textul roboților?
Trebuie să eliminați ambele linii de pe roboți. fișier txt. Fișierul robots se află în directorul rădăcină al folderului dvs. de găzduire web, acesta poate fi găsit în mod normal în /public_html/ și ar trebui să puteți edita sau șterge acest fișier folosind: FTP utilizând un client FTP cum ar fi FileZilla sau WinSCP.
Txt-ul roboților este sigur?
Roboții. txt fișierul nu este în sine o amenințare de securitate, iar utilizarea corectă a acestuia poate reprezenta o bună practică din motive non-securitate. Nu trebuie să presupuneți că toți roboții web vor onora instrucțiunile fișierului.
De ce robots txt este rău?
Pur și simplu adăugați o listă de adrese URL destinate să fie private pentru un roboți. txt este una dintre cele mai proaste moduri de a încerca să păstrați adresele URL ascunse și, în majoritatea cazurilor, are ca rezultat exact opusul rezultatului dorit.
