robo.txt چیست وآموزش ساخت آن

شروع موضوع توسط administrator ‏19 دسامبر 2011 در انجمن مسائل عمومی وب

  1. administrator

    administrator مدیریت کل سایت

    تاریخ عضویت:
    ‏27 جولای 2011
    ارسال ها:
    2,989
    تشکر شده:
    1,027
    robo.txt چیست وآموزش ساخت آن​

    با سلام

    دیدم خیلی سوال میشه درباره این فایل robo.txt گفتم یه توضیح و آموزش بدم.

    robo.txt چیست؟؟

    یک فایل متنی هستش که توی روت هاست با ساب دامین ها آپلود می کنند.کارش هم این است که به اسپایدر ها یا کراولر های موتور های جستجو میگه که چه صفحاتی رو می توانند باز کنند و چه صفخاتی رو نمی توانند باز کنند.

    خوب چگونه فایل robo.txt بسازیم.

    برای ساخت فایل باید notpad رو باز کنید و هر کدام از دستورات زیر را که میخواهید رو داخل فایلتون اضافه کنید.

    1- مسدود کردن تمام روبات ها :

    کد:
    User-agent: *
     					Disallow: / 				

    2-مسدود کردن یک روبات خاص : برای مثال گوگل بوت

    کد:
    User-agent: Googlebot
     					Disallow: /no-google/		 				


    3-مسدود کردن یک روبات خاص از یک صفحه خاص :

    کد:
    User-agent: Googlebot
     					Disallow: /no-google/blocked-page.html		 				

    4-اجازه دادن به روبات برای بازدید از صفحه خاص :

    کد:
    User-agent: *
    					Disallow: /no-bots/block-all-bots-except-rogerbot-page.html  				
    
    	User-agent: rogerbot
     					Allow: /no-bots/block-all-bots-except-rogerbot-page.html

    5- و تعریف site map در robo.txt:

    کد:
    User-agent: *
     					Disallow: 
     
    Sitemap: http://www.example.com/none-standard-location/sitemap.xml