Sitenizin arama motorlarında üst sıralarda çıkmasını ve sitenizin içeriğinin daha iyi indexlenmesi için ana dizininize

siteniz.com/robots.txt

robots.txt dosyası oluşturun ve içine şu kodu yazın:

Kod:
User-agent: *
allow: /

Bu kod bütün siteyi indexler.Buradaki Kod:
User-agent: *
parametresi bütün arama örümcekleri sitemi indexlesin demek.
Benim sitemi google indexlesin yeter derseniz

Kod:
User-agent:Googlebot
yapmanız gerekmektedir.bunu tavsiteye etmem hepsi gelsin indexlesin

Arama motorlarında çıkmasın dediginiz dizin varsa Disallow yapmanız gerekmektedir.Örnegin admin klasörü yada cgi-bin klasörü gibi dizinler için barisozcan.net in kodunu inceleyebilirsiniz.

[URL=”http://www.barisozcan.net/robots.txt”][COLOR=”Blue”]TIKLA[/COLOR][/URL]

aşagıdaki kodu kullanan google.com içeriginin başka arama motorları tarafından indexlenmemesi için o şu kodu kullanıyor

[URL=”http://www.google.com/robots.txt”][COLOR=”RoyalBlue”]TIKLAA[/COLOR][/URL]

Kod:
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?

Gelen aramalar :

• robots txt dosyası indir

The post Robots.txt dosyası nasıl oluşturulur first appeared on Barış ÖZCAN Web Tasarım | antalya web tasarım | antalya web tasarımı | Sosyal Medya Danışmanlığı.