الأسباب التي قد تؤدي إلى عدم فهرسة الصفحات قد تكون مخفية داخل هيكل الشيفرة أو إعدادات الخادم.

على سبيل المثال، إذا لم يتمكن الزاحف من “فهم” المحتوى الديناميكي، أو إذا تم ضبط معلمة بشكل خاطئ تؤدي إلى اعتبار الصفحة مكررة.

في هذا المقال، سنقدم 6 مشكلات تقنية عملية غالبًا ما يتم تجاهلها لكنها تؤثر مباشرة على الفهرسة.

بطء تحميل الصفحة يعيق الزاحف عن الزحف

على سبيل المثال، إذا تجاوز وقت استجابة الخادم 3 ثوانٍ، فقد يتخلى Googlebot عن الزحف أو يقوم بفهرسة جزء ناقص من الصفحة.

غالبًا ما يتم تجاهل هذه المشكلة، لأن العديد من أصحاب المواقع يركزون فقط على تجربة المستخدم الأمامية (مثل ظهور الرسوم المتحركة)، متجاهلين حد الصبر لدى الزواحف.

وقت استجابة الخادم طويل جدًا

تشخيص المشكلة: من خلال Google Search Console أو أدوات مثل GTmetrix، تحقق من “وقت البايت الأول” (TTFB)، وإذا تجاوز 1.5 ثانية، يجب تحسينه.

الحلول:

1. ترقية مواصفات الخادم (مثل المعالج/الذاكرة) أو التبديل إلى مزود استضافة عالي الأداء (مثل Cloudways أو SiteGround).
2. تحسين استعلامات قواعد البيانات: تقليل الاستعلامات المعقدة وإضافة الفهارس إلى جداول المنتجات.
3. تمكين التخزين المؤقت للخادم (مثل Redis أو Memcached) لتقليل الحاجة لإنشاء الصفحات ديناميكيًا.

الملفات الثابتة غير المحسّنة

المشكلات الشائعة:

• صور المنتجات غير مضغوطة (مثل ملفات PNG غير المحولة إلى WebP أو دقة تزيد عن 2000 بكسل).
• عدم دمج ملفات CSS/JS، مما يؤدي إلى عشرات الطلبات HTTP.

خطوات الإصلاح:

1. ضغط الصور باستخدام أدوات مثل Squoosh أو TinyPNG وتعديل حجمها لتناسب شاشات العرض الشائعة (مثل 1200 بكسل عرضًا).
2. دمج ملفات CSS/JS باستخدام Webpack أو Gulp لتقليل عدد الطلبات.
3. تمكين الضغط باستخدام Gzip أو Brotli لتقليل حجم نقل الملفات.

البرمجيات النصية التي تعيق العرض

من منظور الزواحف: عند تحليل HTML، إذا تم تحميل سكربت بشكل متزامن (مثل Google Analytics)، سيتوقف الزاحف عن التحليل حتى يتم تنفيذ السكربت.

خطوات التحسين:

• إضافة خاصية async أو defer إلى السكربتات غير الضرورية (مثال: ).
• تأجيل تحميل أدوات الطرف الثالث (مثل نوافذ الدردشة أو أدوات تحليل الخرائط الحرارية) إلى ما بعد اكتمال تحميل الصفحة.

أدوات الفحص وأولويات الإصلاح

قائمة التحقق الذاتية:

1. PageSpeed Insights: لتحديد مشكلات تحميل الموارد (مثل “تقليل وقت تنفيذ JavaScript”).
2. Screaming Frog: لاكتشاف الصفحات ذات TTFB المرتفع وتحديد الروابط البطيئة.
3. Lighthouse: للاطلاع على قسم “الفرص” للحصول على اقتراحات (مثل إزالة CSS غير المستخدم).

أولويات الإصلاح: التركيز على الصفحات التي تتجاوز فيها TTFB 2 ثانية، أو التي تحتوي على أكثر من 50 طلب HTTP، أو الصور التي يزيد حجمها عن 500KB.

بيانات مرجعية: وفقًا لجوجل، إذا زاد وقت تحميل الصفحة من ثانية واحدة إلى 3 ثوانٍ، فإن احتمال فشل الزحف يزيد بنسبة 32%. من خلال هذه التحسينات، يمكن تحميل معظم صفحات المنتجات في أقل من ثانيتين، مما يعزز فرص الفهرسة.

ملف robots.txt يحظر مجلد المنتجات بالخطأ

على سبيل المثال، إذا تم كتابة Disallow: /tmp/ بالخطأ كـ Disallow: /product/، فإن الزواحف لن تستطيع الزحف إلى صفحات المنتجات، حتى لو كان المحتوى عالي الجودة.

فحص سريع لمشكلات الحظر في robots.txt

أدوات الفحص:

• Google Search Console: اذهب إلى “الفهرسة” > “الصفحات”، إذا ظهرت صفحات المنتجات كـ “محظورة”، تحقق من تفاصيل الحظر في robots.txt.
• أدوات اختبار robots.txt على الإنترنت: استخدم أداة اختبار robots.txt لمحاكاة رؤية الزاحف لعنوان URL.

أخطاء شائعة:

1. أخطاء في كتابة المسار (مثل /produc/ بدلاً من /product/).
2. الاستخدام المفرط للرموز النائبة * (مثل Disallow: /*.jpg$ لحظر جميع صور المنتجات).

تصحيح القواعد الخاطئة في robots.txt

مبادئ الكتابة الصحيحة：

• تحديد المسار بدقة: تجنب الحظر العشوائي، مثلاً لحظر المجلدات المؤقتة استخدم Disallow: /old-product/ بدلاً من Disallow: /product/.
• تمييز نوع الزاحف: إذا كنت ترغب فقط في حظر الزواحف غير المرغوب فيها، يجب تحديد User-agent بوضوح (مثال: User-agent: MJ12bot).

التعامل مع معلمات الروابط：

• السماح بالمعلمات الضرورية (مثل ترقيم الصفحات ?page=2)، مع حظر معلمات محددة مثل Disallow: *?sort=.
• استخدام الرمز $ لتحديد نهاية المعلمة (مثال: Disallow: /*?print=true$).

إجراءات الطوارئ وخطوات التحقق

مثال على الخطوات：

1. قم بتعديل ملف robots.txt، وعلّق أو احذف الأسطر الخاطئة (مثال: # Disallow: /product/).
2. أرسل طلب تحديث ملف robots.txt عبر Google Search Console.
3. استخدم أداة “فحص عنوان URL” لاختبار إمكانية الزحف لصفحات المنتجات يدويًا.
4. راجع حالة الفهرسة بعد 24 ساعة، وإذا لم يتم الاسترداد، قم بإرسال خريطة موقع صفحات المنتجات يدويًا.

إجراءات الحماية：

• استخدم أداة لإدارة الإصدارات مثل Git لتتبع تغييرات ملف robots.txt لسهولة التراجع.
• اختبر التعديلات في بيئة تجريبية قبل تطبيقها مباشرة على الموقع الإلكتروني.

تحليل حالة واقعية

إعداد خاطئ：

User-agent: *

Disallow: /

Allow: /product/

المشكلة: عند استخدام Disallow: / يتم حظر الموقع بالكامل، ولا يتم تفعيل قاعدة Allow التالية.

التصحيح الصحيح：

المنطق: يتم فقط حظر مسارات الإدارة والمجلدات المؤقتة، مع السماح بالوصول إلى صفحات المنتجات.

صفحات المنتجات بدون روابط داخلية فعالة

إذا لم تكن صفحة المنتج مرتبطة داخليًا (عبر شريط التنقل أو الروابط التوصية أو روابط النصوص داخل المحتوى)، فستكون مثل “جزيرة معزولة”، مما يجعل من الصعب على محركات البحث فهرستها حتى لو كان محتواها جيدًا.

هذا يحدث عادة مع المنتجات الجديدة أو الصفحات المخصصة للعروض الخاصة أو الصفحات المستوردة جماعيًا عبر أدوات خارجية — حيث قد لا يتم دمجها في هيكل التنقل الخاص بالموقع.

غياب أو سوء تصميم هيكل التنقل

المشاكل الشائعة：

• صفحات المنتجات غير مدمجة في القائمة الرئيسية أو في أقسام التصنيفات (تكون متاحة فقط من خلال نتائج البحث).
• في الأجهزة المحمولة، يتم إخفاء روابط المنتجات المهمة في قوائم فرعية متعددة داخل قائمة منسدلة.

الحلول：

أداة الفحص الذاتي: استخدم أداة Screaming Frog للزحف على الموقع واكتشاف صفحات المنتجات التي تحتوي على “روابط داخلية ≤ 1”.

خطوات التحسين：

1. قم بإضافة روابط مباشرة إلى صفحات التجميع للمنتجات المهمة ضمن شريط التنقل الرئيسي، مثل “المنتجات الجديدة الرائجة” أو “التوصيات المختارة”.
2. تأكد من أن كل صفحة منتج تنتمي إلى قسم تصنيفي واحد على الأقل (مثال: /category/shoes/product-A).

سوء استغلال وحدات التوصية

من منظور الزاحف: قد لا تتمكن محركات البحث من فهرسة وحدات التوصية مثل “منتجات مقترحة” إذا كانت تُحمّل باستخدام JavaScript.