vBulletin Robots.txt Ayarları

vBulletin forumlarınız için kurulumdan sonra yapılması gereken ilk işlemlerden bir tanesi robots.txt dosyası oluşturmak. Robot.txt oluşturma sebebi ise tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.

Neden örümcekleri engellemek isteyeyim ki?
Site henüz tamamlanmamış olabilir. Ya da henüz tam olarak bitmemiş sayfalar içeriyor olabilir. Bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.

Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.

Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.

Örnek robots.txt

Kod:

[Kodları Görebilmek İçin Üye Olmanız Gerekmektedir. Üye Olmak İçin Tıklayın...]
Sitenizde Gerekli şekilde düzenlemenizi yapıp, forumunuzun ana dizinine robots.txt dosyasını gönderin. İşlem bu kadar.