كيفية إنشاء robots txt و Sitemap وتحسين أرشفة مدونة بلوجر

سنتعرف في هذا الموضوع عن كيفية انشاء ملف Robots.txt مخصص لمدونات بلوجر وكيفية تصدر محركات البحث بالطرق الصحيحة .

كيفية انشاء ملف Robots.txt لبلوجر

يقوم في البداية بالتحقق من http://www.taqani-news.com/robots.txt ، ويعثر على: 
User-agent: * 

Disallow: / 

فهم الأوامر الموجودة في هذا الملف :

The "User-agent: *" 
يعني في هذا القسم أنه ينطبق على جميع الروبوتات.


"Disallow: /"

وهذا يخبرالروبوتات أنه لا يجب زيارة أي صفحات على الموقع.

Sitemap:https://www.taqani-news.com/atom.xml?redirect=false&start-index=1&max-results=500

وهذا أمر خاص بخريطة الموقع التي ستقوم برامج الربورت بتصفحها

سنقوم بإنشاء خريطة الموقع وتعرف بـ Sitemap

سنذهب للموقع التالي :

http://ctrlq.org/blogger/


ومن ثم لصق رابط مدونتك أو موقعك في المربع الظاهر ومن ثم تضغط على
Generate Sitemap

سوف يظهر ملف ال SiteMap بعدها , بعدها عليك التحقق منه واضافة الجزء الخاص باعلانات أدسنس حتى يصبح الملف جاهزاً وكاملاً كالتالي :

(يمكنك نسخ هذا الكود التالي جاهز عليك فقط استبدل الرابط الموجود بالكود برابط موقعك )

---------------------------------------------------------------------------------

User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap:https://Example.com/atom.xml?redirect=false&start-index=1&max-results=500

---------------------------------------------------------------------------------

ملاحظة هامة :

ملف robots.txt متاح للجمهور, ويمكن لأي شخص النظر على أقسام الخادم التي لا تريد أن يستخدمها الروبوت. لذلك حاول عدم استخدام robots.txt لإخفاء المعلومات.