مولد Robots.txt


الافتراضي - جميع الروبوتات هي:  
    
تأخير الزحف:
    
خريطة الموقع: (اتركه فارغا إذا لم يكن متوفر) 
     
البحث في الروبوتات: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
المجلدات الممنوعة: المسار نسبي حسب جذر رووت الموقع ويجب أن يحتوي على خط مائل "/"
 
 
 
 
 
 
   



الآن، قم بإنشاء ملف robotstxt في مجلد الجذر root الخاص بموقعك وانسخ النص من فوق والصقه في ملف نصي.


تفاصيل اكثر عن مولد Robots.txt

حتى تتمكن من إستخدام أداة مولد خريطة XML لموقعك، عليك أن تضيف أولاً لإسم النطاق (الدومين) لموقعك الذي تريد إنشاء خريطة xml له، ثم إختار تاريخ التعديل ومن ثم التردد وهو متى تريد محركات البحث أن تجرب معاودة زيارة موقعك ومن ثم إختر الأولوية بحيث الأولوية 1 هي أعلى أولوية و 0 أقل أولوية ثم حدد عدد الصفحات التي تريد أن تقوم الأداة إضافتها الى التقرير.

بعد إنشاء الخريطة، قم بإضافتها الى ملف XML وحفظها ومن ثم إرسالها الى محركات البحث مثل جوجل وبينج وياهو وغيرهم.

ملفات خريطة الموقع SiteMap Xml
حتى نستطيع تعريف هذا المصطلح ينبغي في الأساس تقسيمه الى قسمين، القسم الاول تعريف معنى خريطة الموقع (Site Map): خريطة الموقع هي جميع البيانات المتعلقة بالموقع من روابط ومجلدات وغيرهم، ويتم جمعها ووضعها في ملف ورفعها الى موقعك، هذا الملف يسمح لمحركات البحث بالإطلاع على جميع البيانات الخاصة بموقعك وبالتالي تسهيل أمر التعريف بالموقع.

أما الجزء الثاني، فكما ذكرنا يتم نقل جميع البيانات الخاصة بخريطة الموقع، وهنا عليك الإختيار بين ثلاث أنواع من الملفات وهي :Gzip, XML, Txt.
في الحقيقة يعتبر XML هو الأشهر على الإطلاق والأكثر إستخداما خاصة في محرك بحث جوجل، أما ما يميز هذا النوع من الملفات فهو أنه يقوم بتنظيم البيانات بطريقة لها معنى فهو على العكس من ملفات XHtML يشترط أن تكون الوسوم او العلامات الوصفية ذات معنى الأمر الذي لا يشترطه النوع الثاني، وهو بذات الوقت يعتمد على نظام قاسي لا يحتمل أي أخطاء في المدخلات على عكس سابقه XHtML ولهذا أصبح الأكثر إستخداما لدى شركة جوجل .