From: Deniz Akkus Kanca (deniz@arayan.com)
Date: Thu 14 Feb 2002 - 19:39:38 EET
Per 14 Şub 2002 19:27 tarihinde şunları yazmıştınız:
> Merhaba
>
> Bazi web sitelerinin kok dizinlerinde Robots.txt isimli bir dosya
> bulunuyor. Bunun ne ise yaradigi ve nasil kullanilacagi hakkinda bilgi
> verebilecek arkadasimiz varmi?
http://www.robotstxt.org/wc/exclusion.html
Kısaca, arama motorlarının robotlarının indeksleme amacı ile sitenize
geldikleri zaman nasıl davranmaları gerektiğini belirlersiniz. Normalde her
link'i gezerler. Bir sebepten dolayı daha farklı davranmalarını isterseniz
bunu kullanırsınız.
Esen kalın,
Deniz
-----------------------------------------------------------------------
Liste üyeliğiniz ile ilgili her türlü işlem için
http://liste.linux.org.tr adresindeki web arayüzünü kullanabilirsiniz.
Listeden çıkmak için: 'linux-request@linux.org.tr' adresine,
"Konu" kısmında "unsubscribe" yazan bir e-posta gönderiniz.
-----------------------------------------------------------------------