Semalt Botlar, Örümcekler ve Tarayıcılar ile Nasıl Başa Çıkacağınıza Dair İpuçları Sunuyor

Arama motoru dostu URL'ler oluşturmanın yanı sıra, .htaccess dosyası web yöneticilerinin belirli botların web sitelerine erişmesini engellemesine olanak tanır. Bu robotları engellemenin bir yolu robots.txt dosyasıdır. Bununla birlikte, Semalt Müşteri Başarı Yöneticisi Ross Barber, bazı tarayıcıların bu isteği göz ardı ettiğini gördüğünü belirtiyor. En iyi yollardan biri, içeriğinizi dizine eklemelerini engellemek için .htaccess dosyasını kullanmaktır.

Bu botlar nedir?

Bunlar, arama motorları tarafından indeksleme amacıyla internetten yeni içerik silmek için kullanılan bir yazılım türüdür.

Aşağıdaki görevleri gerçekleştirirler:

  • Bağlantı verdiğiniz web sayfalarını ziyaret edin
  • HTML kodunuzda hata olup olmadığını kontrol edin
  • Hangi web sayfalarına bağlandığınızı kaydeder ve hangi web sayfalarının içeriğinize bağlandığını görürler
  • İçeriğinizi dizine eklerler

Ancak, bazı botlar kötü amaçlıdır ve sitenizde genellikle size istenmeyen mesajlar veya spam göndermek için kullanılan e-posta adresleri ve formları arayın. Diğerleri bile kodunuzdaki güvenlik boşluklarını arar.

Web tarayıcılarını engellemek için neler gerekir?

.Htaccess dosyasını kullanmadan önce aşağıdakileri kontrol etmeniz gerekir:

1. Siteniz bir Apache sunucusunda çalışıyor olmalıdır. Günümüzde, bu web hosting şirketleri bile işlerinde yarı iyi, gerekli dosyaya erişim sağlar.

2. Web sayfalarınızı ziyaret eden botları bulabilmeniz için web sitenizin ham sunucu günlüklerine erişebilmeniz gerekir.

Yararlı olduğunu düşündüğünüz olsalar bile, hepsini engellemediğiniz sürece tüm zararlı botları engellemenin bir yolu olmadığını unutmayın. Her gün yeni botlar ortaya çıkıyor ve daha eski botlar değiştiriliyor. En etkili yol kodunuzu korumak ve botların size spam göndermesini zorlaştırmaktır.

Botları belirleme

Botlar IP adresi ile veya HTTP başlıklarında gönderdikleri "Kullanıcı Aracısı Dizesi" nden tanımlanabilir. Örneğin, Google "Googlebot" u kullanır.

.Htaccess kullanarak uzak tutmak istediğiniz botun adına zaten sahipseniz, bu listeye 302 bot ile ihtiyacınız olabilir.

Başka bir yol, tüm günlük dosyalarını sunucudan indirip bir metin düzenleyicisi kullanarak açmaktır. Sunucudaki konumları, sunucunuzun yapılandırmasına bağlı olarak değişebilir. Bunları bulamazsanız, web barındırıcınızdan yardım isteyin.

Hangi sayfanın ziyaret edildiğini veya ziyaret zamanını biliyorsanız, istenmeyen bir botla gelmek daha kolaydır. Günlük dosyasını bu parametrelerle arayabilirsiniz.

Bir kez, hangi botları engellemeniz gerektiğini kaydettiniz; daha sonra bunları .htaccess dosyasına ekleyebilirsiniz. Botu engellemenin onu durdurmak için yeterli olmadığını lütfen unutmayın. Yeni bir IP veya adla geri gelebilir.

Onları engelleme

.Htaccess dosyasının bir kopyasını indirin. Gerekirse yedekleme yapın.

Yöntem 1: IP ile Engelleme

Bu kod pasajı 197.0.0.1 IP adresini kullanarak botu engeller

Sipariş Reddi, İzin Ver

197.0.0.1'den reddet

İlk satır, sunucunun belirttiğiniz kalıplarla eşleşen tüm istekleri engelleyeceği ve diğerlerine izin vereceği anlamına gelir.

İkinci satır, sunucuya 403: yasak sayfa yayınlamasını söyler

Yöntem 2: Kullanıcı aracıları tarafından engelleme

En kolay yol Apache'nin yeniden yazma motorunu kullanmaktır

Motor Açık

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

İlk satır, yeniden yazma modülünün etkinleştirilmesini sağlar. İkinci satır, kuralın uygulandığı durumdur. 4. satırdaki "F", sunucuya 403: Yasak olduğunu belirtirken, "L" bunun son kural olduğu anlamına gelir.

Daha sonra .htaccess dosyasını sunucunuza yükleyecek ve mevcut dosyanın üzerine yazacaksınız. Zamanla, botun IP'sini güncellemeniz gerekecektir. Hata yaparsanız, yaptığınız yedeklemeyi yüklemeniz yeterlidir.

mass gmail