Semrush, Ahrefs, Moz vb. SEO Araç Botlarını Engelleme

SEO aracı botlarının web siteme erişmesini ve analiz etmesini nasıl engellerim? Web sitelerimin istatistiklerini üçüncü taraf araçlardan nasıl gizlerim? Siz de Semrush, Ahrefs, Moz vb. SEO araçlarına ait botların web sitenizi taramasını nasıl engelleyeceğinizi merak ediyorsanız bu kılavuzdan faydalanabilirsiniz.

En popüler bağlantı tarayıcıları ve site analiz araçları SEMRush, Ahrefs, Moz ve Majestic’tir. Bunları engellemenin farklı yollarını aşağıda listeledik:

Robots.txt ile bot engelleme

Robots.txt dosyanızı açın ve engellemek istediğiniz botları aşağıdaki gibi ekleyin:

User-agent: rogerbot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: MJ12bot
Disallow: /


User-agent: SiteAuditBot 
Disallow: /

User-agent: AhrefsBot
Disallow: /

.htaccess ve nginx.conf ile bot engelleme

Eğer sunucunuz htaccess’i destekliyorsa botları engellemek için aşağıdaki kodu kullanabilirsiniz:

# htaccess bot engelleme
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) [NC]
RewriteRule .* - [F,L]
</IfModule>

# nginx bot engelleme
if ($http_user_agent ~* (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) ) {
return 403;
}

PHP bot engelleme

WordPress gibi PHP tabanlı bir web siteniz varsa ve sunucunuz .htaccess’i desteklemiyorsa bu yöntemi kullanabilirsiniz. Aşağıdaki kodu head.php dosyanıza ekleyin:

$badAgents = array('rogerbot','mj12bot', 'ahrefsbot', 'semrush', 'dotbot');
foreach ($badAgents as $blacklist) {
if (preg_match("/$blacklist/", strtolower($_SERVER['HTTP_USER_AGENT'])) ) {
exit();
} }

Bu yöntemi kullanacaksanız WordPress RSS besleme özelliğini de engellemeniz gerekecek. Bunu aşağıdaki kodu temanızın function.php dosyasının sonuna ekleyerek yapabilirsiniz:

function wp_disable_feeds() {
wp_die( __('No feeds available!') );
}
  
add_action('do_feed', 'wp_disable_feeds', 1);
add_action('do_feed_rdf', 'wp_disable_feeds', 1);
add_action('do_feed_rss', 'wp_disable_feeds', 1);
add_action('do_feed_rss2', 'wp_disable_feeds', 1);
add_action('do_feed_atom', 'wp_disable_feeds', 1);
add_action('do_feed_rss2_comments', 'wp_disable_feeds', 1);
add_action('do_feed_atom_comments', 'wp_disable_feeds', 1);

“No feeds available” mesajını dilerseniz değiştirebilirsiniz. Kodu ekledikten sonra değişiklikleri kaydetmeyi unutmayın.

• En İyi SEO Araçları: Ücretli ve Ücretsiz 18 SEO Aracı
• En İyi 30 Ücretsiz Anahtar Kelime Planlayıcı
• En İyi 9 Backlink Kontrol Aracı