سيخبر ملف robots.txt المخزن في جذر موقعك الإلكتروني برامج روبوت الويب مثل محركات البحث عن العناكب بالدلائل والملفات التي يُسمح لهم بالزحف إليها. من السهل استخدام ملف robots.txt ، لكن هناك بعض الأشياء التي يجب عليك تذكرها:
- ستتجاهل روبوتات الويب ذات القبعة السوداء ملف robots.txt الخاص بك. الأنواع الأكثر شيوعًا هي برامج الروبوتات الضارة وبرامج الروبوت التي تبحث عن عناوين البريد الإلكتروني للحصاد.
- سيكتب بعض المبرمجين الجدد روبوتات تتجاهل ملف robots.txt. يتم ذلك عادة عن طريق الخطأ.
- يمكن لأي شخص الاطلاع على ملف robots.txt الخاص بك. يطلق عليها دائمًا اسم robots.txt ويتم تخزينها دائمًا في جذر موقع الويب.
- أخيرًا ، إذا ربط شخص ما ملفًا أو دليلًا تم استبعاده بواسطة ملف robots.txt من صفحة لم يتم استبعادها بواسطة ملف robots.txt ، فقد تجدها محركات البحث على أي حال.
لا تستخدم ملفات robots.txt لإخفاء أي شيء مهم. بدلاً من ذلك ، يجب عليك وضع معلومات مهمة خلف كلمات مرور آمنة أو تركها على الويب تمامًا.
كيفية استخدام هذه الملفات عينة
انسخ النص من النموذج الأقرب إلى ما تريد تنفيذه ، والصقه في ملف robots.txt. غيّر أسماء الروبوت ، والدليل ، والملفات لتتوافق مع التهيئة المفضلة لديك.
ملفان Robots.txt أساسيان
وكيل المستخدم: *
عدم السماح: /
يشير هذا الملف إلى أن أي روبوت (User-agent: *) يصل إليه يجب أن يتجاهل كل صفحة على الموقع (Disallow: /).
وكيل المستخدم: *
عدم السماح:
يشير هذا الملف إلى أن أي روبوت (User-agent: *) يصل إليه يسمح له بمشاهدة كل صفحة على الموقع (Disallow:).
يمكنك أيضًا إجراء ذلك عن طريق ترك ملف robots.txt فارغًا أو عدم وجوده على موقعك على الإطلاق.
حماية الدلائل المحددة من الروبوتات
وكيل المستخدم: *
عدم السماح: / cgi-bin /
عدم السماح: / مؤقت /
يشير هذا الملف إلى أن أي روبوت (User-agent: *) يصل إليه يجب أن يتجاهل الأدلة / cgi-bin / و / temp / (Disallow: / cgi-bin / Disallow: / temp /).
حماية صفحات محددة من الروبوتات
وكيل المستخدم: *
Disallow: /jenns-stuff.htm
عدم السماح: /private.php
يشير هذا الملف إلى أن أي روبوت (User-agent: *) يصل إليه يجب أن يتجاهل الملفات / jenns-stuff.htm و /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
منع روبوت محدد من الوصول إلى موقعك
User-agent: Lycos / xx
عدم السماح: /
يشير هذا الملف إلى أن برنامج Lycos bot (وكيل المستخدم: Lycos / xx) غير مسموح له بالدخول إلى أي مكان على الموقع (Disallow: /).
اسمح بوصول روبوت واحد محدد فقط
وكيل المستخدم: *
عدم السماح: /
وكيل المستخدم: Googlebot
عدم السماح:
لا يسمح هذا الملف أولاً باستخدام جميع برامج الروبوت كما فعلنا أعلاه ، ثم يسمح لـ Googlebot صراحةً (وكيل المستخدم: Googlebot) بالوصول إلى كل شيء (Disallow:).
الجمع بين خطوط متعددة للحصول على الاستثناءات التي تريدها بالضبط
في حين أنه من الأفضل استخدام سطر وكيل المستخدم الشامل تمامًا ، مثل User-agent: * ، يمكنك أن تكون محددًا كما تريد. تذكر أن الروبوتات تقرأ الملف بالترتيب. لذا إذا كانت الأسطر الأولى تقول أن جميع الروبوتات قد تم حظرها من كل شيء ، ثم بعد ذلك في الملف فإنها تقول إن كل الروبوتات مسموح لها بالوصول إلى كل شيء ، فإن الروبوتات ستتمكن من الوصول إلى كل شيء.
إذا لم تكن متأكدًا من أنك قمت بكتابة ملف robots.txt بشكل صحيح ، فيمكنك استخدام أدوات مشرفي المواقع من Google للتحقق من ملف robots.txt أو كتابة ملف جديد.