Bing Robots.txt dosyası nasıl oluşturulur?

Web sunucunuzdaki hangi dizinlerin ve dosyaların Robot Hariç Tutma Protokolü (REP) uyumlu arama motoru tarayıcısının (diğer bir deyişle bir robot veya bot) ziyaret etmesine izin verilmediğini , yani olmaması gereken bölümleri kontrol etmek için bir robots.txt dosyası kullanabilirsiniz. taranmak. Bunun tanım gereği taranmayan bir sayfanın dizine eklenmeyeceği anlamına gelmediğini anlamak önemlidir . Bir sayfanın dizine eklenmesini nasıl engelleyeceğinizi görmek için bu konuya bakın .

Adımlar:​

Tarayıcıdan engellemek istediğiniz web sunucunuzdaki dizinleri ve dosyaları belirleyin

1. Arama motorları tarafından ziyaret edilmesini istemediğiniz yayınlanmış içerik için web sunucunuzu inceleyin.
2. İzin vermemek istediğiniz web sunucunuzdaki erişilebilir dosya ve dizinlerin bir listesini oluşturun. Örnek Botların / cgi-bin, / scripts ve / tmp gibi site dizinlerini (veya sunucu mimarinizde mevcutsa eşdeğerlerini) yok saymasını isteyebilirsiniz.

Belirli bir arama motoru botu için genel bir tarama yönergeleri kümesinin ötesinde ek talimatlar belirtmeniz gerekip gerekmediğini belirleyin.

• Tüm botlar için geçerli olan genel yönergelerin ötesinde engellemek istediğiniz sitenizi tarayan botlar olup olmadığını görmek için web sunucunuzun yönlendirme günlüklerini inceleyin.

Robots.txt dosyasını oluşturmak için bir metin düzenleyici kullanın ve içeriğin botlar tarafından ziyaret edilmesini engellemek için REP yönergeleri ekleyin. Metin dosyası ASCII veya UTF-8 kodlamasında kaydedilmelidir .

1. Robotlar, robots.txt dosyasında kullanıcı aracıları olarak belirtilir. Dosyanın başlangıcına, şu satırı ekleyerek tüm botlar için geçerli olan yönergelerin ilk bölümünü başlatın: User-agent: *
2. Engellenmesini istediğiniz içeriği listeleyen Disallow yönergelerinin bir listesini oluşturun. ÖrnekDaha önce kullandığımız dizin örneklerimiz göz önüne alındığında, bu tür yönergeler şu şekilde görünecektir:
   • Kullanıcı aracısı: *
   • İzin verme: / cgi-bin /
   • İzin verme: / scripts /
   • İzin verme: / tmp /

   • NOT

     Bir satırda birden fazla içerik referansını listeleyemezsiniz, bu nedenle engellenecek her model için yeni bir Disallow: yönergesi oluşturmanız gerekir. Bununla birlikte, joker karakterler de kullanabilirsiniz. Her URL modelinin, geçerli sitenin kökünü temsil eden eğik çizgi ile başladığını unutmayın. Ayrıca bir dizinde saklanan ve içerikleri aksi takdirde engellenecek olan dosyalar için bir İzin Ver: yönergesi de kullanabilirsiniz. Joker karakterlerin kullanılması ve İzin Verme ve İzin Verme yönergeleri oluşturma hakkında daha fazla bilgi için, Web Yöneticisi Merkezi blogunun "boşlukta kaybolmasını" önleme başlıklı blog makalesine bakın .

3. Tarama gecikmesi gibi, tüm botlar için uygun olmayan belirli botlar için özelleştirilmiş yönergeler eklemek istiyorsanız, bunları ilk genel bölümden sonra özel bir bölüme ekleyin ve Kullanıcı aracısı referansını belirli bir botla değiştirin. Uygulanabilir bot adlarının bir listesi için Robots Veritabanına bakın.
   

   NOT
   Tek tek botlar için özelleştirilmiş yönerge kümeleri eklemek önerilen bir strateji değildir. Genel bölümdeki yönergeleri tekrar etme ihtiyacı, dosya bakım görevlerini karmaşıklaştırır. Ayrıca, bu özelleştirilmiş bölümlerin uygun şekilde korunmasındaki ihmaller, genellikle arama motoru botlarıyla ilgili tarama sorunlarının kaynağıdır.

İsteğe bağlı: Site haritası dosyanıza bir referans ekleyin (varsa)

• Sitenizdeki en önemli sayfaları listeleyen bir Site Haritası dosyası oluşturduysanız, dosyanın sonunda kendi satırında referans vererek botu ona yönlendirebilirsiniz.
• Örnek Bir Site Haritası dosyası genellikle bir sitenin kök dizinine kaydedilir. Böyle bir Site Haritası yönerge satırı şuna benzer:
• Site haritası: Loading...

Robots.txt dosyanızı doğrulayarak hataları kontrol edin

Robots.txt dosyasını sitenizin kök dizinine yükleyin