1. Halo Guest, pastikan Anda selalu menaati peraturan forum sebelum mengirimkan post atau thread baru.

[SHARE] Cara Blokir BOT dari SEO Tools (Ahref, Semrush, Majestic, dll)

Discussion in 'SEO' started by NSA, Apr 1, 2021.

Tags:
  1. NSA

    NSA Super Hero

    Joined:
    Jan 28, 2017
    Messages:
    821
    Likes Received:
    264
    Location:
    garut gitu loh
    Mumpung lagi nyantai agar website/ blog tidak di crawl Tools SEO, kasih tau kalau salah kamar

    Terinspirasi dari komentar thread ini:
    https://ads.id/forums/index.php?thr...i-negara-target-keywords.392677/#post-3886372


    Dulu pernah saya gunakan dan sekarang udah lama gak gunain cara ini. Jadi sekalian saya share aja disini siapa tahu ada yang belum tahu atau ingin menggunakannya.

    Seperti yang kita tahu bahwa sekarang banyak SEO Tools untuk mengintip data off page website seperti Backlink Checker.

    Pasti semua para praktisi SEO pernah menggunakan tool semacam ini.

    Data yang ada di SEO tools ini biasanya dirayapi oleh dengan yang namanya BOT.

    Ada salah satu cara untuk memblokir BOT mereka agar tidak merayapi situs web kita.
    Caranya bisa blokir menggunakan robots.txt atau melalui htaccess.
    Karena BOT mereka tetap patuh terhadap robots.txt dan bisa

    Tapi pasti semua ada kekurangan dan kelebihannya.

    Bagaimana BOT ini bekerja?

    Bot ini bekerja dengan merayapi setiap url dari situs kita dan tidak hanya sekali, bisa berulang untuk mengetahui update dari halaman-halaman situs (perubahan konten, halaman baru, dan tautan mati).
    Biasanya ini disebut dengan "crawl frontier".

    Untuk mengecek apakah robots.txt situs berhasil memblokir BOT ahref bisa dicek disini
    Code:
    https://ahrefs.com/robot
    Masukkan nama domain/ Subdomain

    [​IMG]

    [​IMG]

    Kelebihan
    Kompetitor tidak akan menemukan data sebuah situs seperti backlink, traffic analytics, nilai suatu domain, keywords tracking, position keywords, dll.

    Kekurangan:
    Namun cara ini tidak diperkenankan bagi yang suka meng-audit web/ blog nya dengan tool tersebut, nanti malah null gak bisa diaudit.

    Blokir BOT dari SEO Tools
    Menggunakan robots.txt merupakan yang paling rekomended, karena kode nya tidak terlalu rumit dan mudah dipahami jika ada kesalahan mengatur robots.txt.

    Tapi pastinya bisa dilihat oleh orang lain.

    Ini daftar robots.txt untuk memblokir BOT SEO Tools:

    SEO Tools yang paling banyak digunakan
    Code:
    Majestic SEO -> User-agent: MJ12bot
    MOZ OpenSiteExplorer -> User-agent: rogerbot
    Ahrefs -> User-agent: AhrefsBot
    Semrush -> User-agent: SemrushBot
    
    BOT Tools SEO lainnya

    Code:
    User-agent: Rogerbot
    User-agent: Exabot
    User-agent: MJ12bot
    User-agent: SemrushBot
    User-agent: Dotbot
    User-agent: Gigabot
    User-agent: AhrefsBot
    User-agent: BlackWidow
    User-agent: ChinaClaw
    User-agent: Custo
    User-agent: DISCo
    User-agent: Download\ Demon
    User-agent: eCatch
    User-agent: EirGrabber
    User-agent: EmailSiphon
    User-agent: EmailWolf
    User-agent: Express\ WebPictures
    User-agent: ExtractorPro
    User-agent: EyeNetIE
    User-agent: FlashGet
    User-agent: GetRight
    User-agent: GetWeb!
    User-agent: Go!Zilla
    User-agent: Go-Ahead-Got-It
    User-agent: GrabNet
    User-agent: Grafula
    User-agent: HMView
    User-agent: HTTrack
    User-agent: Image\ Stripper
    User-agent: Image\ Sucker
    User-agent: Indy\ Library
    User-agent: InterGET
    User-agent: Internet\ Ninja
    User-agent: JetCar
    User-agent: JOC\ Web\ Spider
    User-agent: larbin
    User-agent: LeechFTP
    User-agent: Mass\ Downloader
    User-agent: MIDown\ tool
    User-agent: Mister\ PiX
    User-agent: Navroad
    User-agent: NearSite
    User-agent: NetAnts
    User-agent: NetSpider
    User-agent: Net\ Vampire
    User-agent: NetZIP
    User-agent: Octopus
    User-agent: Offline\ Explorer
    User-agent: Offline\ Navigator
    User-agent: PageGrabber
    User-agent: Papa\ Foto
    User-agent: pavuk
    User-agent: pcBrowser
    User-agent: RealDownload
    User-agent: ReGet
    User-agent: SiteSnagger
    User-agent: SmartDownload
    User-agent: SuperBot
    User-agent: SuperHTTP
    User-agent: Surfbot
    User-agent: tAkeOut
    User-agent: Teleport\ Pro
    User-agent: VoidEYE
    User-agent: Web\ Image\ Collector
    User-agent: Web\ Sucker
    User-agent: WebAuto
    User-agent: WebCopier
    User-agent: WebFetch
    User-agent: WebGo\ IS
    User-agent: WebLeacher
    User-agent: WebReaper
    User-agent: WebSauger
    User-agent: Website\ eXtractor
    User-agent: Website\ Quester
    User-agent: WebStripper
    User-agent: WebWhacker
    User-agent: WebZIP
    User-agent: Wget
    User-agent: Widow
    User-agent: WWWOFFLE
    User-agent: Xaldon\ WebSpider
    User-agent: Zeus
    Disallow: /
    
    Menggunakan htaccess. misalnnya:

    Code:
    SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
    SetEnvIfNoCase User-Agent .*exabot.* bad_bot
    SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
    SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
    SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
    SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
    SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>
    
    *Untuk Ubersuggest saya belum nemu nama BOT nya
    *Cek lagi satu persatu nama BOT nya, terkadang ada berubah


    Saya disini hanya share saja, tentu ada pro dan kontranya. Dulu ada sebagian situs besar yang menyembunyikan demi privasi seperti amazon, tapi sekarang tidak tahu.

    Ingat SEO itu bukan hanya menjadi peringkat teratas di SE.
    Bagaimanapun, SEO adalah tentang menantang kompetitor dan mengungguli mereka.

    Referensi:
    Code:
    https://ahrefs.com/robot
    https://www.semrush.com/bot/
    https://www.mj12bot.com/
    
     
    newbiefans, Rootnesia and Ethan Hunt like this.
  2. newbiefans

    newbiefans Super Hero

    Joined:
    Sep 5, 2009
    Messages:
    1,905
    Likes Received:
    297
    Location:
    DKI JAKARTA
    ini sebaiknya di taruh untuk situs PBN atau untuk moneysite?
     
  3. NSA

    NSA Super Hero

    Joined:
    Jan 28, 2017
    Messages:
    821
    Likes Received:
    264
    Location:
    garut gitu loh
    Di moneysite mas
     
    jentrongs likes this.
  4. belajarmenulis

    belajarmenulis Hero

    Joined:
    Jan 5, 2020
    Messages:
    694
    Likes Received:
    156
    Location:
    Google
    Menantang .. bookmark bang
     
    jentrongs likes this.
  5. Ethan Hunt

    Ethan Hunt AdSense Fan

    Joined:
    Aug 3, 2019
    Messages:
    103
    Likes Received:
    39
    Location:
    Malang
    Sip terimakasih, tadinya mau nanya di trit sebelah, ternyata langsung share trit berbeda.
     
  6. denot

    denot AdSense Pro

    Joined:
    Jul 9, 2013
    Messages:
    259
    Likes Received:
    18
    Klo untuk blogspot, pasangnya gimana hu
     
    jentrongs likes this.
  7. Rootnesia

    Rootnesia Super Hero

    Joined:
    Sep 30, 2016
    Messages:
    3,232
    Likes Received:
    1,027
    Location:
    Wonogiri
    Mantapppp... utk saat ini, saya masih setia di tim non blok sih :D
    Nggak tau nanti

    Request jadi featured thread dong min @Tyan biar nggak tenggelem :D
     
    newbiefans likes this.
  8. dedisuparman

    dedisuparman Super Hero

    Joined:
    Mar 27, 2011
    Messages:
    2,249
    Likes Received:
    256
    Location:
    Indramayu
    Kalau untuk yg jualan backlink/placement content jangan di blokir nanti client engga bisa cek backlinknya or etc...
     
  9. CakramKram

    CakramKram AdSense Starter

    Joined:
    Aug 30, 2019
    Messages:
    54
    Likes Received:
    0
    Location:
    Jabodetabek
    Semakin hari emang semakin banyak bot yg kelayapan di jagat internet :D
     
  10. fastcloud

    fastcloud New Comer

    Joined:
    Apr 1, 2021
    Messages:
    20
    Likes Received:
    3
    mantap, ini yang lagi di cari
     
  11. becaknetwork

    becaknetwork Hero

    Joined:
    Dec 18, 2012
    Messages:
    684
    Likes Received:
    25
    Location:
    Tangerang
    Ijin praktek .... kudu di save biar ga ketinggalan jejak
     
  12. Grendpikiw

    Grendpikiw New Comer

    Joined:
    Nov 24, 2020
    Messages:
    24
    Likes Received:
    5
    Kalo agan mau monitor backlink masuk di moneysite, bagusnya pasang di pbn aja gan
     
  13. rinirina

    rinirina Aged Domains Seller

    Joined:
    Nov 17, 2014
    Messages:
    1,149
    Likes Received:
    96
    Location:
    Rivendale
    mantep koleksi useragent nya banyak banget :D
     
  14. Medialova

    Medialova New Comer

    Joined:
    Jul 7, 2020
    Messages:
    14
    Likes Received:
    2
    udah berhenti main beginian sih ane mah.
     
  15. newbiefans

    newbiefans Super Hero

    Joined:
    Sep 5, 2009
    Messages:
    1,905
    Likes Received:
    297
    Location:
    DKI JAKARTA
    Ini soalnya ada beberapa client SEO saya yg bayar perbulan ke saya lebih dari 10-30 jutaan perbulan, dan sudah sering banget di kerjain kompetitor dan setiap harinsaya hrs disavow krn dapet bl situs porn*, jud*, dll dari kompetitor ke situs client dan moneysite pribadi dll, client saya gak perduli dengan laporan metrik websitenya tapi dia lebih ke result keyword nya naik hehehehe jadi tips di atas cespleng juga kl saya terapkan ke situs client dan beberapa situs moneysite saya hehehe thanks for share TS :congrats::congrats:
     
    Last edited: Apr 6, 2021
  16. Medialova

    Medialova New Comer

    Joined:
    Jul 7, 2020
    Messages:
    14
    Likes Received:
    2
    Sippp mantapppp mastah
     
  17. Ahmad Ansori

    Ahmad Ansori New Comer

    Joined:
    Jul 12, 2019
    Messages:
    20
    Likes Received:
    10
    Location:
    Jatim
    nice info mas, cocok untuk blog ane nih=D>=D>=D>
     
  18. bloggersemarang

    bloggersemarang AdSense Pro

    Joined:
    Feb 17, 2013
    Messages:
    290
    Likes Received:
    16
    Saya coba kok, masih bisa kelihatan di ahrefs ya?? carnya gimana gan??
     
  19. radex78

    radex78 AdSense Pro

    Joined:
    Jun 21, 2013
    Messages:
    392
    Likes Received:
    39
    Obrolan para suhu memang mantul mantab betul
    kalau sudah ahli duit datang sendiri, sebulan bisa puluhan juta dapatnya
     
  20. JakaMedia

    JakaMedia New Comer

    Joined:
    Feb 26, 2021
    Messages:
    33
    Likes Received:
    14
    tinggal jejak
     

Share This Page