Semrush, Ahrefs, Moz vb. SEO Araç Botlarını Engelleme
SEO aracı botlarının web siteme erişmesini ve analiz etmesini nasıl engellerim? Web sitelerimin istatistiklerini üçüncü taraf araçlardan nasıl gizlerim? Siz de Semrush, Ahrefs, Moz vb. SEO araçlarına ait botların web sitenizi taramasını nasıl engelleyeceğinizi merak ediyorsanız bu kılavuzdan faydalanabilirsiniz.
En popüler bağlantı tarayıcıları ve site analiz araçları SEMRush, Ahrefs, Moz ve Majestic’tir. Bunları engellemenin farklı yollarını aşağıda listeledik:
Robots.txt ile bot engelleme
Robots.txt dosyanızı açın ve engellemek istediğiniz botları aşağıdaki gibi ekleyin:
User-agent: rogerbot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SiteAuditBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
.htaccess ve nginx.conf ile bot engelleme
Eğer sunucunuz htaccess’i destekliyorsa botları engellemek için aşağıdaki kodu kullanabilirsiniz:
# htaccess bot engelleme
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) [NC]
RewriteRule .* - [F,L]
</IfModule>
# nginx bot engelleme
if ($http_user_agent ~* (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) ) {
return 403;
}
PHP bot engelleme
WordPress gibi PHP tabanlı bir web siteniz varsa ve sunucunuz .htaccess’i desteklemiyorsa bu yöntemi kullanabilirsiniz. Aşağıdaki kodu head.php dosyanıza ekleyin:
$badAgents = array('rogerbot','mj12bot', 'ahrefsbot', 'semrush', 'dotbot');
foreach ($badAgents as $blacklist) {
if (preg_match("/$blacklist/", strtolower($_SERVER['HTTP_USER_AGENT'])) ) {
exit();
} }
Bu yöntemi kullanacaksanız WordPress RSS besleme özelliğini de engellemeniz gerekecek. Bunu aşağıdaki kodu temanızın function.php dosyasının sonuna ekleyerek yapabilirsiniz:
function wp_disable_feeds() {
wp_die( __('No feeds available!') );
}
add_action('do_feed', 'wp_disable_feeds', 1);
add_action('do_feed_rdf', 'wp_disable_feeds', 1);
add_action('do_feed_rss', 'wp_disable_feeds', 1);
add_action('do_feed_rss2', 'wp_disable_feeds', 1);
add_action('do_feed_atom', 'wp_disable_feeds', 1);
add_action('do_feed_rss2_comments', 'wp_disable_feeds', 1);
add_action('do_feed_atom_comments', 'wp_disable_feeds', 1);
“No feeds available” mesajını dilerseniz değiştirebilirsiniz. Kodu ekledikten sonra değişiklikleri kaydetmeyi unutmayın.
- En İyi SEO Araçları: Ücretli ve Ücretsiz 18 SEO Aracı
- En İyi 30 Ücretsiz Anahtar Kelime Planlayıcı
- En İyi 9 Backlink Kontrol Aracı
Selamlar,
Bu kesin çözüm müdür?
Örnek; Semrush sitesi başka isim altında bot gönderimi yapamaz mı?
Selam,
Aynı soruyu sormak üzere birkaçına mail gönderdim ve geri dönüşleri “robots.txt kurallarına saygı duyuyor ve talimatlara uyuyoruz” şeklinde oldu. Ancak, ekleyeceğiniz yeni kuralların botlar tarafından keşfedilmesi biraz zaman alacaktır. Elbette farklı zamanlarda farklı botlar da gönderebilirler. Şu durumda, gelişmeleri düzenli olarak takip edip kuralları buna göre güncellemek gerekecektir.
Semrush için ek talimatlar da var; her analiz için farklı botlar kullanıyorlar. Bu nedenle her botu ayrı ayrı eklemekte fayda var. Şu bağlantıdan detaylara bakabilirsiniz: https://semrush.com/bot/