زواحف الذكاء الاصطناعي مقابل زواحف البحث: إحصاء سبع ليالٍ على موقع حي

أسبوع من حركة الزواحف على موقع حيّ صغير (7 ليالٍ تنتهي في 2026-11-01): 8,654 زيارة من البوتات، منها 2,986 فقط معرّفة بالاسم، موزّعة على 24 بوتاً مختلفاً. أعلى عائلة صوتاً قريبة من البحث صارت ذكاءً اصطناعياً بالفعل: PerplexityBot وحدها صنعت 273 طرقة مقابل 30 لـ OAI-SearchBot. زواحف محركات البحث مجتمعة (Yandex 643، DuckDuckBot 137، Bingbot 91، Googlebot 14) تبلغ 885 — وتفوّق عليها زواحف أدوات SEO بـ 1,274. و65.5% من الزيارات لا تعرّف عن أي بوت على الإطلاق.

إحصاء الزواحف هو قائمة الضيوف التي لا ينشرها أحد.

ما هي زواحف الذكاء الاصطناعي؟

الادعاء: زاحف الذكاء الاصطناعي هو بوت يقرأ صفحاتك حتى يستطيع نموذج أن يقتبس منها أو يستشهد بها أو يتعلم منها — وهو يعلن عن نفسه بالطريقة نفسها التي أعلن بها كل بوت منذ التسعينيات: سلسلة user-agent. أربع كلمات تحمل هذا الإحصاء كله:

• الزاحف — برنامج يجلب الصفحات ويتبع الروابط ثم يعود. تخيّل مندوب توصيل يصوّر كل صفحة في دفترك ويؤرشف النسخ.
• user-agent — الاسم الذي يكتبه الزاحف حين يطرق الباب. PerplexityBot/1.0 بطاقة اسم؛ والسلسلة الفارغة أو العامة غطاء رأس مسحوب.
• robots.txt — اللافتة على الباب التي تحدد الأسماء التي يُسمح لها بالدخول. كل زواحف الذكاء الاصطناعي الكبرى تحترمها؛ وهذا بالضبط ما يجعل عدّها ممكناً.
• الإحصاء — عدّ من طرق فعلاً، لا من سُمح له بالدخول. القواعد على الورق مقابل سجل الردهة.

التمييز المهم في 2026 هو الغرض، لا الاسم. زواحف البحث تفهرس حتى يجدك إنسان لاحقاً. زواحف البحث بالذكاء الاصطناعي تجلب حتى يجيب نموذج اليوم عنك. زواحف تدريب الذكاء الاصطناعي تجلب حتى يتحدث نموذج مستقبلي بصوتك. ثلاثة أسباب مختلفة للطرق، وثلاث قيم مختلفة بالنسبة إليك.

زواحف الذكاء الاصطناعي مقابل زواحف البحث

الادعاء: على هذا الموقع، في هذا الأسبوع، عائلة الذكاء الاصطناعي تطرق أكثر من كل محرك بحث ما عدا Yandex — وأعلى الزواحف صوتاً على الإطلاق ليست من أيٍّ من الفريقين: إنها أدوات SEO. الإحصاء الكامل، قابل للترتيب، مع المشغّلين والأغراض:

البوت	المشغّل	الغرض	الطرقات (7 أيام)
MJ12bot	Majestic	seo	655
YandexBot	Yandex	search	643
SemrushBot	Semrush	seo	442
PerplexityBot	Perplexity	ai_search	273
AhrefsBot	Ahrefs	seo	177
Amazonbot	Amazon	ai_training	167
ClaudeBot	Anthropic	ai_training	151
DuckDuckBot	DuckDuckGo	search	137
DuckAssistBot	DuckDuckGo	ai_search	122
Bingbot	Microsoft	search	91
ChatGPT-User	OpenAI	ai_search، بتشغيل بشري	32
OAI-SearchBot	OpenAI	ai_search	30
Googlebot	Google	search (يُسجَّل بالاسم من 1 نوفمبر)	14
Bytespider	ByteDance	ai_training	13
— بلا اسم	—	—	5,668

اقرأه حسب العائلة وسيخبرك الأسبوع بثلاثة أشياء. زواحف أدوات SEO — Majestic وSemrush وAhrefs — طرقت 1,274 مرة، أكثر من كل محركات البحث مجتمعة (885). هذه بوتات تقرأ موقعك لتبيعك تقارير الترتيب. عائلة الذكاء الاصطناعي — ai_search مع ai_training — طرقت 788 مرة: Perplexity بـ 273، وAmazon بـ 167، وAnthropic بـ 151، ومساعد DuckDuckGo بـ 122، وثنائي OpenAI بـ 62، وByteDance بـ 13. PerplexityBot وحدها تفوّقت على OAI-SearchBot من OpenAI بنتيجة 273 مقابل 30 — تسعة إلى واحد.

والنقطة البشرية المقابلة التي تمنح الإحصاء مقياسه: 247 زيارة بشرية في الليالي السبع نفسها. خمس وثلاثون طرقة بوت عن كل قارئ حقيقي. الموقع يقرأه في معظمه آلات لن تمرّر الصفحة أبداً، ولن ترتدّ، ولن تشتري — وقائمة الضيوف التي لا يطبعها أحد ثلثاها مجهولون.

لماذا تأتي ثلثا الطرقات بلا اسم؟

الادعاء: 65.5% من طرقات هذا الأسبوع — 5,668 من أصل 8,654 — وصلت بلا اسم بوت على الإطلاق، وهذا الرقم حد أدنى لا حد أقصى، لأن كشف الأسماء لا يلتقط إلا ما يعرفه. نسمّي حصة حركة البوتات التي تعرّف عن نفسها «معدل بطاقة الاسم»؛ وكان هذا الأسبوع 34.5%.

ثلاثة أنواع من الضيوف ترتدي غطاء الرأس. متصفحات بلا واجهة تقود أدوات كشط فتطبع اسم المتصفح لا اسم الشركة. بوتات حديثة تنطلق قبل أن تتعلمها قوائم الكشف. وبعض الأسماء نادرة لدرجة أن القواعد العامة — «أي شيء يطابق bot أو spider أو crawl» — تعدّها دون أن تسمّيها. الإحصاء لا يستطيع تسمية ما تعرفه قائمته فقط.

ما الذي تغيّر في عدّنا هذا الأسبوع

حتى هذا الأسبوع، كانت زواحف كبيرة عدة — Googlebot وBingbot وApplebot — تطابق القواعد العامة فقط في قائمة الكشف التي يستخدمها هذا الموقع، فسقطت في كومة غير المسمّين مثل الجميع. في 2026-11-01 أضفناها كمدخلات مسمّاة. لذلك يقرأ صف Googlebot في الأعلى يوماً واحداً لا سبعة، ولذلك نطبع التحذير على المخطط الشريطي بدل أن نقارن بصمت سبع ليالٍ من Perplexity بليلة واحدة من Google.

هل يجب أن تحجب زواحف الذكاء الاصطناعي؟

الادعاء: بالأرقام، زواحف الذكاء الاصطناعي ليست الطرف الذي يستحق معركة robots.txt — أدوات SEO هما الطرف. كامل بصمة عائلة GPT هنا في هذا الأسبوع كانت 62 طرقة. أما زواحف أدوات SEO الثلاثة فطرقت 1,274 مرة، وأعلى الضيوف صوتاً على الإطلاق، MJ12bot بـ 655، تقرأ المواقع لتغذية قاعدة بيانات استخبارات الروابط. MJ12، بالمناسبة، هو مكتب نظريات المؤامرة حول الطائرات المجهولة في The X-Files — أحدهم سمّى زاحف فهرسة الروابط عنده باسم ملف حكومي سري، وقد يكون هذا أصدق علامة تجارية في عالم SEO.

نسمح لعائلة الذكاء الاصطناعي عن قصد. هذا الموقع مبني ليُقتبَس: كل بطاقة إجابة تحمل مرساة ثابتة ليستشهد نموذج بالجملة التي استخدمها بالضبط، وقناة الإحالات من الذكاء الاصطناعي هنا نمت 50% أسبوعاً بعد أسبوع — من قاعدة صغيرة، لكن من الاتجاه الذي نريده. حجب Perplexity يوفر 273 عملية جلب في الأسبوع ويكلّفنا القارئ الأسرع نمواً لدينا. أما SemrushBot وهي تفحص ترتيبنا 442 مرة — عن استعلامات لا يكتبها معظم البشر أبداً — فهي صفقة يصعب الدفاع عنها.

حين تصبح الطرقات ثقيلة بما يكفي لتؤثر، يحتاج الباب نفسه إلى حساب. لدينا رأي في ذلك أيضاً — إنها مشكلة العدّ نفسها التي تقف خلف مُحدِّد المعدل الذي التهم جناح الاختبارات لدينا.

كيف تجري إحصاء الزواحف بنفسك

الادعاء: لا تحتاج شيئاً سوى سجل الوصول (access log) لديك وعشر دقائق. الخطوات الأربع نفسها تعمل على أي سجل خادم أو لوحة CDN أو تبويب البوتات في أداة التحليلات:

• جِد السجل الخام أو تبويب البوتات — حيثما تصل الطلبات ومعها user-agent الخاص بها.
• عُدّ بوتات الذكاء الاصطناعي المسمّاة بأمر grep واحد.
• عُدّ الطلبات الكلية واحسب معدل بطاقة الاسم.
• أعدها أسبوعياً — الاتجاه هو القصة، لا اللقطة.

# who knocked, by name
grep -oE '(GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot|Claude-Web|Googlebot|Bingbot|Applebot)' access.log \
  | sort | uniq -c | sort -rn

# the name-tag rate: bot-shaped requests vs everything
grep -cE '(bot|spider|crawl)' access.log
wc -l < access.log

verify: شُغّلت أوامر grep على نموذج سجل من 10 أسطر في 2026-11-01 — الأمر الأول يطبع عدداً واحداً لكل اسم، والثاني يطبع الإجمالي للطلبات التي توافق شكل البوت. أما الأرقام في الإحصاء نفسه فتأتي من سجل بوتات هذا الموقع، وسُحبت في اليوم نفسه.

ماذا سيقول الإحصاء القادم

الادعاء: على هذا الموقع، الصف المثير للاهتمام هو الصف أسفل عائلة البحث. عدد Googlebot المسمّى هو 14، وإحالات Google صفر ثابت منذ أحد عشر يوماً متتالياً في إحصائياتنا — ترقية أعادت تسمية بضع مئات من عناوين URL، فأشارت إعادة التوجيه إلى أبواب لم تعد موجودة، وتوقفت Google عن الطرق بهدوء بينما كانت تعيد تعلم مخطط الطابق. الإصلاح رُفع هذا الصباح؛ وما إذا كانت قائمة الضيوف ستتعافى فهو بالضبط ما سيُظهره إحصاء الأسبوع القادم.

سنُبقي الباب مفتوحاً والقائمة علنية. الموقع الذي يخفي إحصاءه مجرد موقع يرتدي غطاء رأس.

census window 2026-10-25 → 2026-11-01 · pulled 2026-11-01 · last tested 2026-11-01