İlk olarak ne hakkında bahsettiğimizi bir tanımlayalım. Bir “bot” arama motorunun bir yazlım parçasıdır, sitenizin her sayfasına girer, onu kategorilendirir ve son olarak da veritabanına kaydeder.
Google’ın iyi bilinen 3 tane “bot” u vardır. Bunlar: Adsense botu, Freshbot ve DeepCrawl…
Adsense...