4.245 kez okundu

Robots.txt dosyası nasıl oluşturulur

10 10 4.245 kez okundu incelendi

Sitenizin arama motorlarında üst sıralarda çıkmasını ve sitenizin içeriğinin daha iyi indexlenmesi için ana dizininize

siteniz.com/robots.txt

robots.txt dosyası oluşturun ve içine şu kodu yazın:

Kod:
User-agent: *
allow: /

Bu kod bütün siteyi indexler.Buradaki Kod:
User-agent: *
parametresi bütün arama örümcekleri sitemi indexlesin demek.
Benim sitemi google indexlesin yeter derseniz

Kod:
User-agent:Googlebot
yapmanız gerekmektedir.bunu tavsiteye etmem hepsi gelsin indexlesin

Arama motorlarında çıkmasın dediginiz dizin varsa Disallow yapmanız gerekmektedir.Örnegin admin klasörü yada cgi-bin klasörü gibi dizinler için barisozcan.net in kodunu inceleyebilirsiniz.

[URL=”http://www.barisozcan.net/robots.txt”][COLOR=”Blue”]TIKLA[/COLOR][/URL]

aşagıdaki kodu kullanan google.com içeriginin başka arama motorları tarafından indexlenmemesi için o şu kodu kullanıyor

[URL=”http://www.google.com/robots.txt”][COLOR=”RoyalBlue”]TIKLAA[/COLOR][/URL]

Kod:
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?

Gelen aramalar :

Paylaş !

Yorum yap

Önceki yazıyı okuyun:
Yapım Aşamasında Sayfası İçin Html Kodları

Yeni bir domain aldınız ve site içeriğini oluşturana kadar sitenin durumu hakkında bilgi veren bir karşılama sayfası yapmak istiyorsunuz diyelim...

Kapat
Barış Ozcan Facebook Sayfasi
Barış Ozcan Twitter