From: ilker ARABACI (ilker.arabaci@linuxtr.com)
Date: Thu 14 Feb 2002 - 07:35:27 EET
arama motorlari tarafindan kulanılan robot lar için ( spider) rule dosyasi
dir.
o sitenin nasıl index/catalog lanacagina dair komutlar , meta taglar
içersinde de belirtilebilir
ama spiderlar robot.txt ve meta tag lar i nasıl okuaycaklari kendi
konfigurasyonlarına kalmıs
ayrıntılı bilgi için mnogosearch in sitesine bakabnilirsin. ( harika bir
spider + katalog engine)
----- Original Message -----
From: "Sisqo" <sisqo@firuze.com>
To: <linux@linux.org.tr>
Sent: Thursday, February 14, 2002 7:27 PM
Subject: [Linux] Robots.txt
> Merhaba
>
> Bazi web sitelerinin kok dizinlerinde Robots.txt isimli bir dosya
bulunuyor.
> Bunun ne ise yaradigi ve nasil kullanilacagi hakkinda bilgi verebilecek
arkadasimiz varmi?
>
> İyi calismalar
>
> -----------------------------------------------------------------------
> Liste üyeliğiniz ile ilgili her türlü işlem için
> http://liste.linux.org.tr adresindeki web arayüzünü kullanabilirsiniz.
>
> Listeden çıkmak için: 'linux-request@linux.org.tr' adresine,
> "Konu" kısmında "unsubscribe" yazan bir e-posta gönderiniz.
> -----------------------------------------------------------------------
>
-----------------------------------------------------------------------
Liste üyeliğiniz ile ilgili her türlü işlem için
http://liste.linux.org.tr adresindeki web arayüzünü kullanabilirsiniz.
Listeden çıkmak için: 'linux-request@linux.org.tr' adresine,
"Konu" kısmında "unsubscribe" yazan bir e-posta gönderiniz.
-----------------------------------------------------------------------