Robots.txt Oluşturucu

Robots.txt oluşturucu

Varsayılan yapılandırma tercihi

Tarama süresi (örneğin 5)

Site haritası (yoksa boş bırakın)

Arama Motorları (Her biri için İzin ver veya Engelle)

Google

Google görsel

Google mobil

MSN ara

Yahoo

Yahoo MM

Yahoo Blogs

Ask/Teoma

Gigablast

DMOZ denetleyici

Web tarama motoru

Alexa/Wayback

Baidu

Naver

Yeti

MSN görsel arama

Kısıtlamak istediğiniz dizinler kök dizinden başlamalı ve sonunda eğik çizgi (/) olmalı.

Web tasarım paketlerimizi keşfedin

Eğer daha kaliteli bir web sitesine ihtiyacınız varsa, profesyonel web tasarım hizmetlerimizi inceleyin

Web tasarım paketleri

Robots.txt nedir ve neden önemlidir

Robots.txtdosyası, bir web sitesinin arama motoru botları tarafından nasıl taranacağını belirleyen bir metin dosyasıdır. Bu dosyada, belirli dizinleri veya sayfaları Engelleyebilirya da İzinverebilirsiniz. Arama motorları, sitenize ilk geldiklerinde robots.txt dosyasını okuyarak hangi bölümlere erişebileceklerine karar verir.

Eğer bazı sayfalarınızın arama motorları tarafından indekslenmesini istemiyorsanız, bu sayfaları robots.txt içinde Engellekomutuyla engelleyebilirsiniz. Öte yandan, sitenizin tamamının indekslenmesine izin vermek istiyorsanız, sadece Engelle: satırını boş bırakmanız yeterlidir.

Arama motorlarıbaşına ayrı kurallar tanımlayarak, Google botu, Yahoo botu, MSN botu veya diğer özel botlar için farklı erişim düzeyleri uygulayabilirsiniz. Bu esneklik, sitenizin kontrolünü tamamen size bırakır. Örneğin, görsellerinizi Google Görsel botunun indekslemesini istemiyor fakat normal aramalarda sayfalarınızın görüntülenmesini istiyorsanız,, Googlebot görselkullanıcı aracısına özel Disallow kuralı eklemeniz yeterlidir.

Tarama gecikmesiCrawl-delay (tarama gecikmesi), arama motoru botlarının sayfalar arasında ne kadar süre beklemesi gerektiğini ayarlamanıza olanak tanır. Bu ayar, sunucunuza aşırı yük binmesini engellemek istediğinizde oldukça kullanışlıdır. Ek gecikmeye ihtiyaç duymuyorsanız varsayılan değeri kullanabilirsiniz. 0veya boş değerde bırakabilirsiniz.

Site haritası, arama motorlarına sitenizin güncel haritasını sunar. Robots.txt içinde bir Sitemap URL’si belirtmek, arama motoru botlarına sayfalarınızı hızlı ve verimli bir şekilde indeksleme imkanı tanır. Eğer bir sitemap kullanmıyorsanız bu alanı boş bırakabilirsiniz.

Tüm bu ayarları doğru yapmak, SEOaçısından büyük önem taşır. Arama motorlarının sitenizde gereksiz sayfaları taramaması, sunucu kaynaklarınızı korur ve asıl indekslenmesini istediğiniz içeriklerin ön plana çıkmasını sağlar. Robots.txt dosyanızı düzenli olarak kontrol etmek ve güncel tutmak, sitenizin performansınıve görünürlüğünüolumlu yönde etkileyecektir.