Etiket - robots.txt

Robots.txt Yapımı

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce öğrenelim. Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir: User-agent: Google Botu’nun adı [...]

Daha fazla oku...

Robots.txt neden önemlidir? Nasıl kullanılır?

Robots.txt, tüm arama motorlarının ortak olarak baktığı herhangi bir websitenin hangi sayfalarının indekslenip, hangi sayfalarının indekslenmeyeceğini söyleyen dosyadır. Google, Yahoo, Bing vs. neredeyse tüm arama motorları internette yeni açılan siteleri, yeni girilen yazıları, sitelerdeki değişimleri yani internet dünyasındaki tüm değişimleri görebilmek için robot (örümcek) adı verilen bir program kullanırlar ve tüm internet dünyasını bu program sayesinde sürekli tararlar. İşte bu botlar bir siteye girdiklerinde ilk olarak bir robots.txt dosyasının olup olmadığına bakarlar. Eğer bir robots.txt dosyası var ise bu sefer [...]

Daha fazla oku...