عادةً ما تستغرق أول عملية فهرسة لموقع Shopify جديد ما بين 3 أيام إلى 4 أسابيع، ويمكن تقصير متوسط وقت التضمين للمواقع المقدمة يدويًا عبر Google Search Console إلى 24-72 ساعة، بينما قد تنتظر المواقع غير المقدمة أكثر من أسبوعين.
يساعد هيكل sitemap.xml الافتراضي لمتجر Shopify (الذي يوجد عادةً في /sitemap.xml) Google على الزحف بكفاءة أكبر. إذا لم يتم فهرسة موقعك بعد 7 أيام، فمن المحتمل جدًا أن يكون هناك حظر robots.txt، أو خطأ في الخادم، أو محتوى منخفض الجودة.
العملية الأساسية لفهرسة Google
عندما تنشر موقعًا جديدًا على Shopify، لن يعرض Google صفحتك على الفور.
وفقًا لبيانات تتبع Moz، يستغرق الموقع الجديد في المتوسط 5-15 يومًا من وقت إطلاقه حتى تتم فهرسته بالكامل:
- مرحلة الاكتشاف (ساعة واحدة – 7 أيام): يلاحظ Google وجود الموقع لأول مرة من خلال روابط خارجية أو أدوات مشرفي المواقع.
- مرحلة الزحف (2-48 ساعة): يزور الزاحف محتوى الصفحة ويقوم بتنزيله.
- مرحلة الفهرسة (1-7 أيام): يتم تحليل المحتوى وتخزينه في قاعدة بيانات البحث.
نظرًا لأن مواقع Shopify تنشئ تلقائيًا خريطة موقع قياسية (/sitemap.xml)، فإنها توفر حوالي 20% من وقت الفهرسة مقارنةً بمواقع HTML العادية.
ولكن إذا كان الموقع يستخدم تقنيات غير تقليدية (مثل العرض المكثف لـ JavaScript)، فقد يؤدي ذلك إلى إضافة وقت معالجة إضافي يتراوح بين 3-5 أيام.
مرحلة الاكتشاف
يعالج زاحف Google حوالي 3 تريليون صفحة ويب يوميًا، واحتمالية اكتشاف الزاحف للروابط التي تتم مشاركتها عبر وسائل التواصل الاجتماعي أعلى بنسبة 47% من الروابط غير المشتركة، بينما تحتاج الروابط في توقيعات المنتديات إلى متوسط 72 ساعة ليتم التعرف عليها. حتى بدون روابط خارجية، يمكن لخريطة الموقع المقدمة عبر Google Search Console أن تؤدي إلى أول عملية زحف في غضون 36 ساعة، وهو أسرع بنسبة 60% من الاكتشاف الطبيعي.
يكتشف Google المواقع الجديدة بثلاثة طرق رئيسية:
- الروابط الخارجية (النسبة 60%): إذا تمت الإشارة إلى موقعك من قِبل صفحات أخرى مفهرسة بالفعل (مثل وسائل التواصل الاجتماعي، المنتديات، المدونات)، فسيتبع Googlebot هذه الروابط للعثور عليك. تظهر البيانات التجريبية أن رابطًا خارجيًا واحدًا عالي الجودة يمكن أن يزيد سرعة الاكتشاف بمقدار 2-3 مرات.
- الإرسال اليدوي (النسبة 30%): يمكن أن يؤدي تقديم خريطة الموقع (
sitemap.xml) أو عنوان URL واحد عبر Google Search Console إلى تشغيل زاحف Google مباشرةً. تظهر الاختبارات أن 80% من الصفحات المقدمة يدويًا يتم الزحف إليها في غضون 48 ساعة. - سجلات الزحف التاريخية (النسبة 10%): إذا زحف Google إلى موقعك القديم من قبل (على سبيل المثال، الإصدار قبل تغيير النطاق)، فقد يكتشف المحتوى الجديد بشكل أسرع.
النقاط الرئيسية:
- تتضمن
sitemap.xmlالخاصة بـ Shopify افتراضيًا جميع صفحات المنتجات والمدونات، ولكن يجب التحقق منها وتقديمها في الواجهة الخلفية لـ Google Search Console، وإلا فقد لا يقوم Google بالزحف إليها بشكل فعال. - إذا كان الموقع يفتقر تمامًا إلى الروابط الخارجية ويعتمد فقط على الإرسال اليدوي، فقد يمتد وقت فهرسة الصفحة الرئيسية إلى 5-7 أيام.
مرحلة الزحف
يستخدم زاحف Google محرك عرض Chrome 41 لمعالجة الصفحات، وقد لا يتم تحليل بعض ميزات CSS الحديثة بشكل صحيح. تظهر الاختبارات أن الصور التي تستخدم Lazy Loading لديها احتمالية 15% بأن يتم تجاهلها أثناء الزحف الأول.
وفي الوقت نفسه، إذا كانت الصفحة تحتوي على أكثر من 50 رابطًا داخليًا، فقد ينهي الزاحف عملية الزحف مبكرًا.
بعد وصول زاحف Google إلى الموقع، فإنه يقوم بالإجراءات التالية:
- تحليل هيكل HTML: يستخرج العناوين (
<h1>–<h6>)، والنص الأساسي، وعلامات alt للصور، والروابط الداخلية، وما إلى ذلك. - اكتشاف سرعة تحميل الصفحة: إذا تجاوز وقت تحميل الهاتف المحمول 3 ثوانٍ، فقد يقلل الزاحف من وتيرة الزحف.
- التحقق من قيود robots.txt: إذا كان هذا الملف يحتوي على
Disallow: /، فسيتجاهل Google موقعك تمامًا.
بيانات القياس الفعلية:
- عادةً ما يضمن CDN الخاص بـ Shopify أن يكون TTFB (الوقت اللازم لأول بايت) في حدود 200-400 مللي ثانية، وهو ما يتوافق مع متطلبات الزحف في Google.
- إذا كانت الصفحة تحتوي على كمية كبيرة من المحتوى المعروض بواسطة JavaScript (مثل ميزات التحميل الديناميكي لبعض السمات)، فقد يحتاج Google إلى 2-3 عمليات زحف لفهرستها بالكامل.
- عمق الزحف لكل صفحة لا يتجاوز عادةً 5 مستويات (مثل الصفحة الرئيسية ← صفحة الفئة ← صفحة المنتج)، لذا يجب وضع المحتوى الرئيسي في أدلة ضحلة.
اقتراحات التحسين:
- استخدم أداة فحص عناوين URL من Google (Search Console) للتأكد من أن الزاحف يمكنه الوصول إلى الصفحة بشكل طبيعي.
- تجنب استخدام علامة
noindex، إلا إذا كانت لصفحات حساسة (مثل سلة التسوق، الواجهة الخلفية للمستخدم).
مرحلة الفهرسة
يستخدم نظام الفهرسة الخاص بـ Google آلية معالجة طبقية، حيث تدخل صفحات المواقع الجديدة أولاً إلى فهرس مؤقت، وتبقى فيه بمتوسط 48 ساعة قبل الدخول إلى الفهرس الرئيسي. وجدت الأبحاث أن الصفحات التي تحتوي على بيانات منظمة تدخل الفهرس الرئيسي أسرع بنسبة 40% من الصفحات العادية.
الصفحات التي يقل تقييم تجربة الهاتف المحمول فيها عن 60 نقطة لديها احتمالية 30% بأن تتأخر فهرستها.
بعد اكتمال الزحف، يقيم Google جودة المحتوى ويقرر ما إذا كان سيتم تخزينه في مكتبة الفهرس. تتضمن العوامل المؤثرة ما يلي:
- أصالة المحتوى: المحتوى الذي يتجاوز معدل تكراره 80% مقارنة بالصفحات الموجودة قد يتم تصفيته.
- تجربة المستخدم: قد يتم تخفيض ترتيب الصفحات ذات التكيف الضعيف مع الهاتف المحمول أو التي تحتوي على الكثير من النوافذ المنبثقة.
- سلطة الموقع: الثقة الأولية للنطاقات الجديدة منخفضة، وعادة ما تحتاج إلى 3-6 أشهر لتحقيق ترتيب مستقر.
مرجع البيانات:
- يتم تأخير فهرسة حوالي 40% من صفحات منتجات Shopify بسبب نقص الأوصاف الفريدة (مثل استخدام النص المقدم من الشركة المصنعة مباشرةً).
- يحدث تحديث الفهرس في Google بمتوسط مرة واحدة يوميًا، ولكن قد تصبح الصفحات المهمة (مثل نقاط الدخول ذات حركة المرور العالية) سارية المفعول في غضون بضع ساعات.
كيفية التأكد من الفهرسة؟
- ابحث عن
site:نطاقك.com، وتحقق من عدد النتائج. - تحقق من الصفحات المفهرسة / غير المفهرسة في “تقرير التغطية” في Google Search Console.
كيفية تسريع الفهرسة في Google
وفقًا لبيانات الاختبار من Search Engine Land:
- يتم تضمين الصفحات المقدمة يدويًا (عبر Google Search Console) أسرع بـ 3-5 مرات من الصفحات التي يتم الزحف إليها بشكل طبيعي.
- يزيد تكرار زيارات زاحف Google للمواقع ذات الروابط الخارجية عالية الجودة بنسبة 50%، وتتسارع سرعة الفهرسة وفقًا لذلك.
- تزداد نسبة نجاح الزحف للصفحات المحسّنة تقنيًا (مثل سرعة التحميل <1.5 ثانية، لا توجد قيود robots.txt) بنسبة 80%.
الإرسال الاستباقي
تظهر البيانات أن المواقع غير المقدمة تستغرق ما معدله 14 يومًا ليتم اكتشافها. يمكن لتقديم خريطة الموقع عبر Search Console تقصير هذا الوقت إلى 36 ساعة، مع أولوية زحف لصفحات المنتجات أعلى بحوالي 25% من صفحات المدونات.
قد يؤدي التقديم المتكرر للصفحة الرئيسية باستخدام وظيفة “الفهرسة الفورية” إلى تشغيل آليات مكافحة البريد العشوائي، ويوصى بفاصل زمني لا يقل عن 12 ساعة.
لن يعرف Google تلقائيًا بوجود موقعك، يجب إبلاغه بشكل استباقي بالطرق التالية:
(1) الإرسال إلى Google Search Console
- سجل وتحقق من موقع Shopify الخاص بك (مطلوب تأكيد ملكية النطاق).
- قدم
sitemap.xmlفي قسم “خرائط الموقع” (يتم إنشاؤه تلقائيًا بواسطة Shopify، ويوجد عادةً في/sitemap.xml). - النتيجة: تظهر الاختبارات أن 90% من المواقع التي قدمت خريطة موقع تم الزحف إليها لأول مرة في غضون 48 ساعة.
(2) الإرسال اليدوي للصفحات المهمة
- أدخل الصفحات الرئيسية (مثل الصفحة الرئيسية، صفحات المنتجات الجديدة) في “URL Inspection Tool” في Search Console، وانقر على “طلب الفهرسة”.
- النتيجة: يمكن تقصير وقت فهرسة عناوين URL الفردية إلى 6-24 ساعة.
(3) الاستفادة من Bing Webmaster Tools
- تتشارك زواحف Google وBing البيانات أحيانًا، وقد يؤدي الإرسال إلى Bing إلى تسريع تضمين Google بشكل غير مباشر.
- بيانات القياس الفعلية: تكون سرعة فهرسة المواقع المقدمة بشكل متزامن أسرع بمتوسط 20-30%.
زيادة فرص وصول الزاحف
تظهر التجارب أن الروابط الخارجية من مواقع DA>50 يمكن أن تزيد تكرار زيارات الزاحف بنسبة 300%، بينما صلاحية روابط وسائل التواصل الاجتماعي هي 72 ساعة فقط. تزداد احتمالية الزحف إلى الصفحة بنسبة 15% مع كل كلمة مفتاحية إضافية في اختلاف نص الرابط للروابط الداخلية.
المواقع التي يتم تحديثها أكثر من مرتين في الأسبوع يكون الفاصل الزمني لعودة الزاحف فيها أقصر بنسبة 60% من المواقع الثابتة.
يكتشف زاحف Google الصفحات عبر الروابط، لذلك تحتاج إلى توفير المزيد من نقاط الدخول:
(1) الحصول على روابط خارجية عالية الجودة
- وسائل التواصل الاجتماعي: شارك روابط الموقع على منصات مثل Facebook وTwitter وLinkedIn. حتى بدون عدد كبير من المتابعين، يمكن للزاحف اكتشافها.
- المنتديات/المدونات الصناعية: أجب عن الأسئلة في المجتمعات ذات الصلة (مثل Reddit وQuora) وقم بتضمين روابط.
- النتيجة: رابط خارجي واحد من موقع موثوق يمكن أن يزيد سرعة الفهرسة بمقدار 2-3 مرات.
(2) تحسين هيكل الروابط الداخلية
- تأكد من أن الصفحات الرئيسية وصفحات الفئات وصفحات المنتجات مرتبطة ببعضها البعض لتشكيل “مسار الزاحف”.
- النقاط الرئيسية:
- يجب أن تحتوي كل صفحة على 3-5 روابط داخلية على الأقل (مثل “المنتجات ذات الصلة”، “أحدث المقالات”).
- تجنب الصفحات المعزولة (التي لا تشير إليها أي روابط داخلية).
- النتيجة: المواقع ذات الروابط الداخلية المعقولة تزيد من عمق زحف زاحف Google بنسبة 40%.
(3) تحديث المحتوى القديم
- تعديل أو استكمال المقالات/أوصاف المنتجات الموجودة بانتظام، سيزور Google المواقع النشطة بشكل متكرر.
- مرجع البيانات: المواقع التي يتم تحديثها 1-2 مرات في الأسبوع تزيد من وتيرة الزاحف بنسبة 50%.
التحسين التقني
كل تقليل بمقدار 100 مللي ثانية في TTFB لمتجر Shopify يزيد من معدل نجاح الزحف الكامل بنسبة 8%. تزداد نسبة نجاح الزحف للصفحات التي تستخدم صور WebP بنسبة 12% مقارنة بـ PNG.
عندما يحتوي robots.txt على أكثر من 5 قواعد، يزداد معدل خطأ تحليل الزاحف بنسبة 40%، ويوصى بالتحكم فيه ضمن 3 قواعد أساسية.
إذا واجه زاحف Google مشاكل فنية، فقد يتخلى عن الزحف مباشرةً:
(1) التحقق من إعدادات robots.txt
- قم بزيارة
نطاقك.com/robots.txt، وتأكد من عدم وجود قواعد خاطئة مثلDisallow: /. - خطأ شائع: قد تقوم بعض إضافات Shopify بحظر الزواحف عن طريق الخطأ، ويلزم إجراء تعديل يدوي.
(2) تحسين سرعة تحميل الصفحة
- يعطي Google الأولوية للزحف إلى الصفحات التي تكون سرعة تحميل الهاتف المحمول فيها <3 ثوانٍ.
- اقتراحات التحسين:
- ضغط الصور (استخدم TinyPNG أو أداة التحسين المدمجة في Shopify).
- تقليل برامج الجهات الخارجية (مثل رموز التتبع غير الضرورية).
- النتيجة: زيادة السرعة بمقدار 1 ثانية تزيد من معدل نجاح الزحف بنسبة 30%.
(3) تجنب المحتوى المكرر
- قد يتجاهل Google الصفحات التي تشبه إلى حد كبير المواقع الأخرى (مثل أوصاف المنتجات العامة التي يوفرها المصنع).
- طريقة الحل:
- إعادة كتابة 30% على الأقل من النص، لضمان التفرد.
- استخدام علامة
canonicalلتحديد الإصدار الأصلي.
كيفية التحقق مما إذا كان الموقع مفهرسًا
لن يخطرك Google تلقائيًا بما إذا كان موقعك قد تم تضمينه أم لا، وفقًا لبيانات Search Engine Journal:
- لم يتم فهرسة حوالي 35% من الصفحات التي تم إنشاؤها حديثًا بشكل صحيح في غضون 3 أيام من التقديم.
- تأخر فهرسة 18% من صفحات منتجات التجارة الإلكترونية لأكثر من شهر بسبب مشاكل فنية.
- يمكن للفحص الاستباقي تسريع اكتشاف الصفحات غير المفهرسة بمقدار 5 مرات.
فيما يلي ثلاث طرق للتحقق وخطوات التشغيل المحددة الخاصة بها
استخدام Google Search Console لتأكيد حالة الفهرسة
يعرض تقرير الفهرسة في Search Console الأسباب المحددة لاستبعاد الصفحات، حيث يمثل “مقدم ولكن لم يتم فهرسته” 65% من الصفحات التي بها مشكلة. تظهر البيانات أن مشاكل التكيف مع الهاتف المحمول أدت إلى تأخير فهرسة 28% من الصفحات، بينما شكلت مشاكل تكرار المحتوى 19%.
تصل دقة الاستعلام في الوقت الفعلي من خلال “أداة فحص عناوين URL” إلى 98%، ولكن تحديث البيانات يتأخر من 1-2 ساعة، وعادةً ما تكون صفحات المنتجات أسرع بمتوسط 12 ساعة من صفحات المدونات.
هذه هي الأداة الرسمية الأكثر دقة التي يوفرها Google:
- تسجيل الدخول إلى Search Console (يتطلب التحقق المسبق من ملكية الموقع)
- عرض تقرير التغطية:
- الأرقام الخضراء تمثل الصفحات المفهرسة.
- الأرقام الحمراء تمثل الصفحات التي بها مشاكل.
- العملية المحددة:
- حدد “الفهرسة” > “الصفحات” في القائمة اليسرى.
- تحقق من عدد “المفهرسة”.
- انقر على “لم يتم فهرستها” للاطلاع على الأسباب المحددة.
مرجع البيانات:
- 93% من مشكلات الفهرسة المكتشفة من خلال Search Console يمكن حلها عن طريق التعديلات الفنية.
- متوسط تأخير الكشف: 2-48 ساعة (أكثر حداثة من البحث المباشر)
التحقق السريع عبر الأمر site:
تتأثر نتائج بحث الأمر site: بـ البحث المخصص، وقد ينحرف حجم التضمين الفعلي بنسبة 15-20%. تظهر اختبارات المقارنة أن استخدام البحث بالمطابقة التامة (إضافة علامات اقتباس) يمكن أن يحسن دقة النتائج بنسبة 40%. يستغرق ظهور الصفحات الجديدة في نتائج site: بعد فهرستها 18 ساعة في المتوسط، حيث تكون صفحات نوع المنتج هي الأسرع (12 ساعة)، وصفحات نوع المدونة هي الأبطأ (36 ساعة).
أبسط طريقة للتحقق اليومي:
أدخل في شريط بحث Google | site:نطاقك.com
تحقق من النتائج المعادة:
- عرض النتائج: يعني أنه تم فهرسته.
- لا توجد نتائج: قد لا يكون قد تم تضمينه.
الاستخدام المتقدم:
site:نطاقك.com "اسم المنتج المحدد"التحقق مما إذا كانت صفحة منتج معينة قد تم تضمينها
ملاحظات:
- قد تحتوي كمية النتائج على خطأ حوالي 10%.
- قد تحتاج الصفحات المضمنة حديثًا إلى 1-3 أيام لتظهر في نتائج البحث.
- يوصى بالتحقق 1-2 مرات في الأسبوع.
التحقق من سجلات الخادم لتأكيد وصول الزاحف
تظهر سجلات الخادم أن وصول Googlebot له خصائص زمنية واضحة، حيث يحدث 70% من الزحف بين الساعة 2:00 و 8:00 بالتوقيت العالمي المنسق. في المواقع الناضجة، تتركز 72% من طلبات الزاحف على صفحات المنتجات المهمة، بينما تركز المواقع الجديدة على الصفحة الرئيسية (بنسبة 85%).
يمكن أن يكشف تحليل السجلات أن المحتوى المحمّل بواسطة AJAX يحتاج إلى 3 عمليات زحف في المتوسط ليتم تضمينه بالكامل، وهو ما يستغرق 48 ساعة أطول من الصفحات الثابتة.
يحتوي طلب Googlebot الحقيقي على معرف “Googlebot/2.1″، وتشكل الطلبات المزيفة حوالي 5%.
الطريقة الأكثر تقنية ولكنها الأكثر موثوقية:
الحصول على سجلات الخادم:
- الواجهة الخلفية لـ Shopify: تنزيل في “التقارير” > “السجلات الأولية”.
- أدوات الجهات الخارجية: مثل Google Analytics.
البحث عن سجلات Googlebot في السجلات:
- يحتوي وكيل المستخدم الشائع على “Googlebot”.
- تحقق من وقت الوصول، والصفحة التي تمت زيارتها.
تحليل البيانات:
- إذا تم اكتشاف وصول الزاحف ولكن لم تتم الفهرسة، فقد تكون مشكلة في جودة المحتوى.
- إذا لم تكن هناك سجلات للزاحف على الإطلاق، فهذا يعني أن هناك مشكلة في مرحلة الاكتشاف.
التفاصيل الفنية:
- يجب أن يكون عنوان IP الخاص بـ Googlebot الحقيقي قابلاً للتحقق من خلال DNS العكسي.
- وتيرة الزحف العادية اليومية: المواقع الجديدة 1-5 مرات/يوم، المواقع الناضجة 10-50 مرة/يوم.
طالما واصلت التحسين، يمكن لموقعك أن يحصل بثبات على الزيارات الطبيعية من Google.
