Web sunucunuzdaki hangi dizinlerin ve dosyaların Robot Hariç Tutma Protokolü (REP) uyumlu arama motoru tarayıcısının (diğer bir deyişle bir robot veya bot) ziyaret etmesine izin verilmediğini , yani olmaması gereken bölümleri kontrol etmek için bir robots.txt dosyası kullanabilirsiniz. taranmak. Bunun tanım gereği taranmayan bir sayfanın dizine eklenmeyeceği anlamına gelmediğini anlamak önemlidir . Bir sayfanın dizine eklenmesini nasıl engelleyeceğinizi görmek için bu konuya bakın .
Robots.txt dosyasını oluşturmak için bir metin düzenleyici kullanın ve içeriğin botlar tarafından ziyaret edilmesini engellemek için REP yönergeleri ekleyin. Metin dosyası ASCII veya UTF-8 kodlamasında kaydedilmelidir .
Robots.txt dosyasını sitenizin kök dizinine yükleyin
Adımlar:
Tarayıcıdan engellemek istediğiniz web sunucunuzdaki dizinleri ve dosyaları belirleyin- Arama motorları tarafından ziyaret edilmesini istemediğiniz yayınlanmış içerik için web sunucunuzu inceleyin.
- İzin vermemek istediğiniz web sunucunuzdaki erişilebilir dosya ve dizinlerin bir listesini oluşturun. Örnek Botların / cgi-bin, / scripts ve / tmp gibi site dizinlerini (veya sunucu mimarinizde mevcutsa eşdeğerlerini) yok saymasını isteyebilirsiniz.
- Tüm botlar için geçerli olan genel yönergelerin ötesinde engellemek istediğiniz sitenizi tarayan botlar olup olmadığını görmek için web sunucunuzun yönlendirme günlüklerini inceleyin.
NOT |
---|
Bingbot, kendisi için belirli bir talimatlar kümesi bulduğunda, genel bölümde listelenen yönergeleri yok sayacaktır; bu nedenle, onlar için oluşturduğunuz belirli yönergelere ek olarak, dosyanın kendi bölümlerinde tüm genel yönergeleri tekrarlamanız gerekecektir. . |
Robots.txt dosyasını oluşturmak için bir metin düzenleyici kullanın ve içeriğin botlar tarafından ziyaret edilmesini engellemek için REP yönergeleri ekleyin. Metin dosyası ASCII veya UTF-8 kodlamasında kaydedilmelidir .
- Robotlar, robots.txt dosyasında kullanıcı aracıları olarak belirtilir. Dosyanın başlangıcına, şu satırı ekleyerek tüm botlar için geçerli olan yönergelerin ilk bölümünü başlatın: User-agent: *
- Engellenmesini istediğiniz içeriği listeleyen Disallow yönergelerinin bir listesini oluşturun. ÖrnekDaha önce kullandığımız dizin örneklerimiz göz önüne alındığında, bu tür yönergeler şu şekilde görünecektir:
- Kullanıcı aracısı: *
- İzin verme: / cgi-bin /
- İzin verme: / scripts /
- İzin verme: / tmp /
NOT- Bir satırda birden fazla içerik referansını listeleyemezsiniz, bu nedenle engellenecek her model için yeni bir Disallow: yönergesi oluşturmanız gerekir. Bununla birlikte, joker karakterler de kullanabilirsiniz. Her URL modelinin, geçerli sitenin kökünü temsil eden eğik çizgi ile başladığını unutmayın.
- Ayrıca bir dizinde saklanan ve içerikleri aksi takdirde engellenecek olan dosyalar için bir İzin Ver: yönergesi de kullanabilirsiniz.
- Joker karakterlerin kullanılması ve İzin Verme ve İzin Verme yönergeleri oluşturma hakkında daha fazla bilgi için, Web Yöneticisi Merkezi blogunun "boşlukta kaybolmasını" önleme başlıklı blog makalesine bakın .
- Tarama gecikmesi gibi, tüm botlar için uygun olmayan belirli botlar için özelleştirilmiş yönergeler eklemek istiyorsanız, bunları ilk genel bölümden sonra özel bir bölüme ekleyin ve Kullanıcı aracısı referansını belirli bir botla değiştirin. Uygulanabilir bot adlarının bir listesi için Robots Veritabanına bakın.
NOTTek tek botlar için özelleştirilmiş yönerge kümeleri eklemek önerilen bir strateji değildir. Genel bölümdeki yönergeleri tekrar etme ihtiyacı, dosya bakım görevlerini karmaşıklaştırır. Ayrıca, bu özelleştirilmiş bölümlerin uygun şekilde korunmasındaki ihmaller, genellikle arama motoru botlarıyla ilgili tarama sorunlarının kaynağıdır.
- Sitenizdeki en önemli sayfaları listeleyen bir Site Haritası dosyası oluşturduysanız, dosyanın sonunda kendi satırında referans vererek botu ona yönlendirebilirsiniz.
- Örnek Bir Site Haritası dosyası genellikle bir sitenin kök dizinine kaydedilir. Böyle bir Site Haritası yönerge satırı şuna benzer:
- Site haritası: Loading...
Robots.txt dosyasını sitenizin kök dizinine yükleyin
NOT |
---|
|