Robots.txt neden önemlidir? Nasıl kullanılır?

Robots.txt, tüm arama motorlarının ortak olarak bakmış olduğu herhangi bir websitenin hangi sayfalarının indekslenip, hangi sayfalarının indekslenmeyeceğini söyleyen dosyadır.

Google, Yahoo, Bing vs. neredeyse tüm arama motorları internette yeni oluşturulan siteleri, yeni girilen yazıları, sitelerdeki değişimleri şu demek oluyor ki web dünyasındaki tüm değişimleri görebilmek için robot (örümcek) isminde olan bir program kullanırlar ve tüm web dünyasını bu program yardımıyla devamlı tararlar. İşte bu botlar bir siteye girdiklerinde ilk olarak bir robots.txt dosyasının olup olmadığına bakarlar. Eğer bir robots.txt dosyası var ise bu sefer robotlar burada yazılan komutları dinler ve indekslenmesi istenilen sayfalardaki değişimleri denetim eder ve gerekirse yeniler.

Eğer bu robots.txt dosyası dosyalarınız içinde bulunamadıysa robotların her sayfayı indekslemesini bekleyebilirsiniz. Sadece eğer bir komut yazmak istemiyorsanız bile ne olursa olsun boşta olsa bir robots.txt dosyası oluşturup dosyalarınız içine yükleyin. Şu sebeple botlar sitenize girdiklerinde robots.txt dosyasına gitmek isteyecek ve eğer dosya yoksa karşısına gelecek sayfa “404 sayfa bulunamadı” olacağından dolayı bu işlem bir hata olarak loglarınıza kaydolacaktır.

Peki nelerin indekslenmemesini isteyebilirsiniz ? Mesela admin sayfanız yada hususi olarak koruduğunuz şifreli giriş alanları, sitenin hiçbir yerinde bağlantı vermediğiniz hususi video, fotoğraf şeklinde dosyaları robots.txt dosyası yardımıyla robotlarında görmemesini dolayısıyla arama motorları tarafınca da indekslenmemesini sağlayabilirsiniz. Bununla beraber eğer siteniz yapım aşamasında ise yada mesela bir yedek ile siteye yazı yüklediniz sadece bu yazıları değiştireceksiniz. Bu durumda indeksler alındıktan sonrasında yazıların silinip yine yazılması sizi zor duruma sokacaktır. Bunun yerine robots.txt dosyası ile lüzumlu komutu verip indekslenmemesini sağlayıp yazılarınızı yada sitenizi yayınlanabilir hale getirdikten sonrasında bu komutu silip botların sitenizde dolaşmasını sağlayabilirsiniz.

Robots.txt dosyasını oldukça kolay oluşturabilirsiniz herhangi bir kod bilgisine gerek yok. Yalnız istemediğiniz sayfaların indekslenmemesi için bir kaç komut girmelisiniz. Bu tarz şeyleri aşağıda kolay bir halde anlatalım.

Bu dosyada iki komut tipi kullanılır ;

1) User-agent (Bot yada Robot adı)
2)Disallow (Klasör yada Dosya adı)

Örnek kullanımlarda:

1)Tüm robotlar tüm dizinlerde indeksleme yapabilir.

User-agent:* Disallow:

2)Robotlar hiçbir dizini indekslemeyecektir.

User-agent: * Disallow: /

3)Robotlar, cgi-bin,images,tmp,admin klasörlerini indekslemeyecek.

User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/

Bu biçim kullanımları görebilirsiniz. İsterseniz sizde hususi bot adları yada hususi dosya adları ile kişisel bir robots.txt hazırlayabilirsiniz.

 

en iyi robots.txt örneği robots.txt robots.txt iyi mi kullanılır robots.txt ne işe yarar robots.txt niçin önemlidir robots.txt nedir robots.txt örnekleri