FTC: Web sitemiz ziyaretçi desteklidir; İçeriklerde bulunan bağlantılar aracılığıyla ürün/hizmet satın aldığınızda komisyon kazanabiliriz. Komisyonlar editoryal değerlendirmelerimizi etkilemez.

Semrush, Ahrefs, Moz vb. SEO Araç Botlarını Engelleme

SEO aracı botlarının web siteme erişmesini ve analiz etmesini nasıl engellerim? Web sitelerimin istatistiklerini üçüncü taraf araçlardan nasıl gizlerim? Siz de Semrush, Ahrefs, Moz vb. SEO araçlarına ait botların web sitenizi taramasını nasıl engelleyeceğinizi merak ediyorsanız bu kılavuzdan faydalanabilirsiniz.

En popüler bağlantı tarayıcıları ve site analiz araçları SEMRush, Ahrefs, Moz ve Majestic’tir. Bunları engellemenin farklı yollarını aşağıda listeledik:

Robots.txt ile bot engelleme

Robots.txt dosyanızı açın ve engellemek istediğiniz botları aşağıdaki gibi ekleyin:

User-agent: rogerbot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: MJ12bot
Disallow: /


User-agent: SiteAuditBot 
Disallow: /

User-agent: AhrefsBot
Disallow: /

.htaccess ve nginx.conf ile bot engelleme

Eğer sunucunuz htaccess’i destekliyorsa botları engellemek için aşağıdaki kodu kullanabilirsiniz:

# htaccess bot engelleme
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) [NC]
RewriteRule .* - [F,L]
</IfModule>
# nginx bot engelleme
if ($http_user_agent ~* (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) ) {
return 403;
}

PHP bot engelleme

WordPress gibi PHP tabanlı bir web siteniz varsa ve sunucunuz .htaccess’i desteklemiyorsa bu yöntemi kullanabilirsiniz. Aşağıdaki kodu head.php dosyanıza ekleyin:

$badAgents = array('rogerbot','mj12bot', 'ahrefsbot', 'semrush', 'dotbot');
foreach ($badAgents as $blacklist) {
if (preg_match("/$blacklist/", strtolower($_SERVER['HTTP_USER_AGENT'])) ) {
exit();
} }

Bu yöntemi kullanacaksanız WordPress RSS besleme özelliğini de engellemeniz gerekecek. Bunu aşağıdaki kodu temanızın function.php dosyasının sonuna ekleyerek yapabilirsiniz:

function wp_disable_feeds() {
wp_die( __('No feeds available!') );
}
  
add_action('do_feed', 'wp_disable_feeds', 1);
add_action('do_feed_rdf', 'wp_disable_feeds', 1);
add_action('do_feed_rss', 'wp_disable_feeds', 1);
add_action('do_feed_rss2', 'wp_disable_feeds', 1);
add_action('do_feed_atom', 'wp_disable_feeds', 1);
add_action('do_feed_rss2_comments', 'wp_disable_feeds', 1);
add_action('do_feed_atom_comments', 'wp_disable_feeds', 1);

No feeds available” mesajını dilerseniz değiştirebilirsiniz. Kodu ekledikten sonra değişiklikleri kaydetmeyi unutmayın.


WPEkran

Web site ve blog açma kılavuzları, para kazanma, sosyal medya, SEO, WordPress, Blogger, hosting, domain ve WEB'e dair bilgiler WPEkran'da.

2 Yorumlar

  1. Selamlar,
    Bu kesin çözüm müdür?
    Örnek; Semrush sitesi başka isim altında bot gönderimi yapamaz mı?

    1. Selam,
      Aynı soruyu sormak üzere birkaçına mail gönderdim ve geri dönüşleri “robots.txt kurallarına saygı duyuyor ve talimatlara uyuyoruz” şeklinde oldu. Ancak, ekleyeceğiniz yeni kuralların botlar tarafından keşfedilmesi biraz zaman alacaktır. Elbette farklı zamanlarda farklı botlar da gönderebilirler. Şu durumda, gelişmeleri düzenli olarak takip edip kuralları buna göre güncellemek gerekecektir.

      Semrush için ek talimatlar da var; her analiz için farklı botlar kullanıyorlar. Bu nedenle her botu ayrı ayrı eklemekte fayda var. Şu bağlantıdan detaylara bakabilirsiniz: https://semrush.com/bot/

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu