robots.txt botunun kodunu sölermisiniz

[xciress]

robots.txt botunun kodunu sölermisiniz ve bunu bulduktan sonra not defterinde html olarakmı kayıt edicem biraz bil gi verirseniz sevinirim:aşk

 

[david221]

robots.txt arama motorlarının hangi sayfaların indexlenip indexlenmiyeceğini belirtmek için kullanılır 2 kodu vardır
user-agent:
disallow:
----------
user-agent: kısmına hangi arama motoru indexlesin diyorsan onu yazarsın ör:googlebot
tüm arama motorlarına açık olsun diyorsan * bu karakteri kullanırsın
disallow: bu kısma hangi sayfanın ya da dizinin indexlenmiyeceğini belirtmek için kullanırsın
ör:user-agent: *
disallow: /xxx.htm
disallow: /xyx.html
disallow: /resim/
tüm arama motorlarına açık fakat 2 dosya ve bir dizinin içindeki tüm dosyalar dışanda kalanlar indexlenir.robots.txt olarak kaydedilir ve kök dizinin içine yerleştirilir

 

[efsanexxx]

Robot meta tagı

Robot meta tagı aramamotorlarına sayfanın nasıl indexleneceğini bildirir. Bu tag kullanılarak sayfanın indexlenip indexlenmeyeceğini veya hangi sayfaların indexleceği bildirilebilir. Butaga göre aramamotorları sayfanın nasıl indexleneceğini belirler. Alabileceği değerler noindex, index, nofollow, follow olabilir. Noindex ile sayfa indexlenmez, index kullanıldığında sayfa indexlenir, nofollow değeri sayfadan başka sayfaların indexlenmesini engeller, follow ise sayfa ile birlikte diğer sayfalarında indexlenmesi sağlanabilir.
Kullanımı

<META NAME="Robot" CONTETN="index,follow">