ساخت Robots.txt

ساخت Robots.txt

پیش فرض - همه ربات ها:	مجاز غیر مجاز
تاخیر در کرال:	پیش فرض - بدون تاخیر 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
سایت مپ: (در صورتی که ندارید خای بگزارید)
ربات های جستجو:	Google	مثل گزینه پیش فرض مجاز غیر مجاز
	Google Image	مثل گزینه پیش فرض مجاز غیر مجاز
	Google Mobile	مثل گزینه پیش فرض مجاز غیر مجاز
	MSN Search	مثل گزینه پیش فرض مجاز غیر مجاز
	Yahoo	مثل گزینه پیش فرض مجاز غیر مجاز
	Yahoo MM	مثل گزینه پیش فرض مجاز غیر مجاز
	Yahoo Blogs	مثل گزینه پیش فرض مجاز غیر مجاز
	Ask/Teoma	مثل گزینه پیش فرض مجاز غیر مجاز
	GigaBlast	مثل گزینه پیش فرض مجاز غیر مجاز
	DMOZ Checker	مثل گزینه پیش فرض مجاز غیر مجاز
	Nutch	مثل گزینه پیش فرض مجاز غیر مجاز
	Alexa/Wayback	مثل گزینه پیش فرض مجاز غیر مجاز
	Baidu	مثل گزینه پیش فرض مجاز غیر مجاز
	Naver	مثل گزینه پیش فرض مجاز غیر مجاز
	MSN PicSearch	مثل گزینه پیش فرض مجاز غیر مجاز
دایرکتوری های غیر مجاز:	این مسیر به نسبت شاخه روت است. حتما اسلش پایانی را قرار دهید "/"

حال فایل Robots.txt را در شاخه دایرکتوری روت بسازید. متن بالا را کپی کرده و داخل فایل ساخته شده قرار دهید.

درباره ساخت Robots.txt