حل مشكل الأرشفة و تصدر محركات البحث

ملف Robots.txt باختصار :

بدون أي كلام زائد الروبوت تكست هو ملف يحتوي ملف robots.txt على توجيهات لمحركات البحث. يمكنك استخدامه لمنع محركات البحث من الزحف إلى أجزاء معينة من موقع الويب الخاص بك ولإعطاء محركات البحث نصائح مفيدة حول كيفية الزحف إلى موقعك على الويب بشكل أفضل. يلعب ملف robots.txt دورًا كبيرًا في تحسين محركات البحث.

عند تركيب ملف robots.txt ، ضع في اعتبارك الممارسات التالية:

• كن حذرًا عند إجراء تغييرات على ملف robots.txt الخاص بك: هذا الملف يمكن أن يجعل أجزاء كبيرة من موقع الويب الخاص بك غير قابلة للوصول لمحركات البحث.
• يجب أن يتواجد ملف robots.txt في جذر موقع الويب الخاص بك مثل (http://www.qawa3id.com/robots.txt).
• ملف robots.txt صالح فقط للمجال الكامل الذي يوجد عليه ، بما في ذلك البروتوكول (http أو https).
• تفسر محركات البحث المختلفة التوجيهات بشكل مختلف. بشكل افتراضي ، يحصل التوجيه المطابق الأول دائمًا. ولكن ، مع Google و Bing ، يستحسن التحديد.
• تجنب استخدام أمر تأخير الزحف لمحركات البحث قدر الإمكان.

حسنا هذا مجرد معلومات تعرفك على ملف الروبوت و الsitemap إذا كنت لا تهتم بجمع المعلومات أو تعرفها من قبل يمكنك إتباع الخطوات في الأسفل لكني أنصحك بقرائتها قد تفيدك في المستقبل.

لماذا يجب أن تهتم بملف robots.txt؟

• يلعب ملف robots.txt دورًا أساسيًا من وجهة نظر تحسين محركات البحث.حيث تخبر محركات البحث كيف يمكنها الزحف إلى موقعك على الويب بشكل أفضل.
• باستخدام ملف robots.txt ، يمكنك منع محركات البحث من الوصول إلى أجزاء معينة من موقع الويب الخاص بك ، ومنع المحتوى المكرر وإعطاء محركات البحث نصائح مفيدة حول كيفية الزحف إلى موقع الويب الخاص بك بشكل أكثر كفاءة.
• كن حذرًا عند إجراء تغييرات على ملف robots.txt الخاص بك على الرغم من ذلك: هذا الملف يمكن أن يجعل أجزاء كبيرة من موقع الويب الخاص بك غير قابلة للوصول لمحركات البحث.

الآن ركز معي رجاءا.

1_الخطوة الأولى : إضافة ملف الروبوت في إعدادت المدونة:

أ- أدخل على المدونة التي تريد تعديلها.

ب- إضغط على بوابة الإعدادات في القائمة الجانبية.

ج-ستظهر لك قائمة منسدلة إضغط على إعدادات البحث.

د-ثم إختر "ملف robots.txt مخصص"و انسخ الملف التالي:

ملفRobots.txt:

User-agent: *


Disallow: /p/www.html


Disallow: /2020/05/10.html

 Disallow: /p/blog-page_10.html

 Disallow: /search

Allow: /

 Allow: /ads.txt 

Sitemap: https://www.qawa3id.com/sitemap.xml

ملفات Sitemap:

rss.xml

feeds/posts/default

atom.xml?redirect=false&start-index=1&max-results=100

atom.xml

sitemap.xml

د- غير الكتابات المظللة بالأصفر(روابط الصفحات الثابتة مثل سياسة الخصوصية ومن نحن ،تمنعها من الأرشفة لأنها تجعل الأرشفة بطيئة) بالروابط الخاصة بك كالتالي:

https://www.qawa3id.com/p/www.html 

 يمكنك أن تلاحظ أنني أخذت الجزء بعد علامة"/" فقط

"https://www.qawa3id.com/   "p/www.html

بالنسبة لل  Disallow: /search و البقية دعها كما هي ( تحظر أرشفة صفحات التصنيفات والتي تبطئ من سرعة الأرشفة أيضا)

2_الخطوة الثانية : إضافة ملفات Sitemap :

في الواقع الخطوة بسيطة و تستغرق بضعة ثوان فقط

أ-إذهب إلى موقع google search consol

ب-ستكون قد أضفت موقعك بالفعل وأن لم تفعل فالعملية بسيطة جدا 

ج-إذهب إلى بوابة sitemap وأضف الأكواد التي وضعتها لك في الملف

3_الخطوة الثالثة : تفعيل علامات رؤوس مخصصة لبرامج الروبوت:

قم فقط بتفعيلها كالتالي:

ها هي الصورة مكبرة

4_الخطوة الرابعة والأخيرة : إختبار ملف الروبوت الخاص بك وإرساله للفحص :

لديك الآن بالفعل ملف روبوت و sitemap لكن هناك هذه الخطوة المهمة التي يجب تقوم بها و التي يتجاهلها وهي إرسال ملف الربوت عبر آداة اختبار ملف robots.txt

 بعد الدخول على هذا الموقع المقدم من جوجل

أضف ملف الروبوت الخاص بك حيث يمكنك:

1-إختبار ملف الروبوت الخاص بك لمعرفة صلاحيته

2-إرساله إلى جوجل للفحص و التطبيق في الموقع

إذا أخبرك أن ملفك محظور حاول تتبع  الأخطاء في الملف و الروابط التي أضفتها 

كما ترى فالملف الخاص بي قد تم إرساله بالفعل و هو مسموح 

في الأخير أتمنى من كل شخص إنتفع من هاته المقالة ألا يبخل بها على أصدقائه و أن يتابعنا من أجل المزيد من الحلول و النصائح

أخبرنا بالمشاكل التي تواجهك في المدونة عن طريق التعليقات أو من خلال ترك رسالة في صفحة الإتصال