Aksaray Yöresel Kültürel Kamusal Kurumsal Paylaşım sitesi Aksarayın en iyi Sitesi
Üyelik Giriş Yap | Üye Ol | Şifrem Neydi | Canlı Destek Facebook
Konu Açan Aksaray 68
22.10.2011 19:47:10
Normal Üye
Aksaray 68
 
Mutlumusun :
Yazmamış
Neden :
Yazmamış
SonKararinmi :
Yazmamış


Robots.txt Dosyası Kullanım Robotları Yölendirme Kontrol







 


Robots.txt dosyası arama motorları ve örümceklere sitenizdeki dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından farksızdır ve basit şekilde Notepad ile hazırlanabilir. Anasayfanızın ya da sitenizin bulunduğu ana klasöre koyulmalıdır.







Neden robots.txt dosyasına ihtiyacım var?



Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.



Neden örümcekleri engellemek isteyebilirim?




  1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.


  2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.


  3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.


  4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.


  5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.



Robots.txt dosyası oluşturmak



Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :



User-Agent: [Örümcek ya da Bot ismi]

Disallow: [Klasör ya da Dosya ismi]







Robots.txt ile belirli bir dosyayı belirli bir bottan korumak



Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.



User-Agent: *

Disallow: /haberler/



Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsayacaktır.







Tüm robotlara kayıt izmi vermek



Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.



User-agent: *

Disallow:







Tüm robotları dosya ve klasörlerinizden uzak tutmak



Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.



User-agent: *

Disallow: /







Robots.txt ile birden fazla klasör engellemek



Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.



User-agent: *

Disallow: /cgi-bin/

Disallow: /_borders/

Disallow: /_derived/

Disallow: /_fpclass/

Disallow: /_overlay/

Disallow: /_private/

Disallow: /_themes/

Disallow: /_vti_bin/

Disallow: /_vti_cnf/

Disallow: /_vti_log/

Disallow: /_vti_map/

Disallow: /_vti_pvt/

Disallow: /_vti_txt/



Her klasör için ayrı bir komut yazmak en verimlisidir.



Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.



User-Agent: Scooter

Disallow: /



Google'ın resim dosyalarımızdan uzak durmasını istiyorsak :



User-Agent: Googlebot-Image

Disallow: /images/



Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman :



User-Agent: Googlebot-Image

Disallow: /



İmza

                 AKSARAY

Cevap Yazan suleyman demir
05.11.2011 19:21:25
Normal Üye
suleyman demir
 
Mutlumusun :
Yazmamış
Neden :
Yazmamış
SonKararinmi :
Yazmamış
Cevapları Sadece Üyeler Okuyabilir

Bilgi Yok

Cevap Yaz
Copyright
Bugün : 0 - 0 - 0 | Dün : 0 - 0 - 0 | Toplam : 179 - 1126 - 1305 | Üyeler : 0 - 2341 | Online : 0 - 1
Onlineler :
Neler Yaptık | Hakkımızda | İletişim | SiteMaps | Rss
2oo6-2o14 © Copyright Aksaray 68
Yazılım Tasarım
Aksaray 68

AKSARAY.TC - Bizimsite - Aksaray Bilisim - Ihlara - Aksaray Haberler- AxarayFm - siteni ekle
YASAL UYARI
Sitemiz, hukuka, yasalara, telif haklarına ve kişilik haklarına saygılı olmayı amaç edinmiştir. Sitemiz, 5651 sayılı yasada tanımlanan .yer sağlayıcı. olarak hizmet vermektedir. İlgili yasaya göre, site yönetiminin hukuka aykırı içerikleri kontrol etme yükümlülüğü yoktur. Bu sebeple, sitemiz .uyar ve kaldır. prensibini benimsemiştir. Telif hakkına konu olan eserlerin yasal olmayan bir biçimde paylaşıldığını ve yasal haklarının çiğnendiğini düşünen hak sahipleri veya meslek birlikleri, info@Aksaray.tc mail adresinden bize ulaşabilirler. Buraya ulaşan talep ve şikayetler Hukuk Müşavirimiz tarafından incelenecek, şikayet yerinde görüldüğü takdirde ihlal olduğu düşünülen içerikler sitemizden kaldırılacaktır.

Ping your blog, website, or RSS feed for Free
 

Hızlı Sohbet