robots.txt untuk membatasi ruang gerak bot untuk melakukan crawled pada website anda. contoh: bisa di lat di www.robotstxt.org/wc/robots.html tu klo bot yang baek, ada beberapa bot yang ga sopan suka mengabaikan rule dari robots.txt. klo untuk bot yang nakal bsa diatasi melalui file .htaccess
tambahan aja... Search engine itu sebelum masuk ngacak2 isi situs kita... mereka masih menghargain robots.txt dimana tersimpan aturan direktori mana aja yang gak boleh dan boleh... jadi klo ada direktori yg gak boleh... mereka (bot) gak bakalan masuk (crawl) kesitu...
Isinya robot txt, Robot crawler-nya si google adsense yg namanya Mediapartners-Google bole ngacak masuk kemana aja. Robot crawler-nya si google adsense yg namanya Mediapartners-Google gak bole masuk ke sub folder yg namanya " Deddy" n yg namanya "NanyaRobot"
sebenernya robots.txt bs ngebuat org laen ngeliat directory web kita.. contohnya www.google.com/robots.txt
