ما هو Robots.txt؟
أين تكتب Robots.txt؟
`robots.txt` هو ملف قياسي يستخدمه مواقع الويب لتحديد أي أقسام من الموقع يمكن الوصول إليها من قبل متصفحي الويب (مثل Google و Bing و Yahoo وما إلى ذلك). يتيح هذا الملف لأصحاب المواقع تحديد الصفحات التي يُسمح بفحصها والتي يجب استبعادها من الفحص من قبل محركات البحث.
ملف `robots.txt` عادةً ما يكون موجودًا في الدليل الجذري لموقع الويب (على سبيل المثال، www.example.com/robots.txt). يحتوي هذا الملف على توجيهات للمتصفحات الآلية وروبوتات محركات البحث.
ملف `robots.txt` قد يظهر كمثال على النحو التالي:
```
User-agent: *
Disallow: /خاص/
Allow: /عام/
```
في هذا المثال، يحدد قسم `User-agent` "*" (أي متصفح أو روبوت)، ثم توجد توجيهات `Disallow` و `Allow` لتحديد حالة قابلية الفحص. الدلائل المحددة في قسم `Disallow` يجب أن لا تفحص، بينما تلك في قسم `Allow` هي قابلة للفحص.
يُستخدم ملف `robots.txt` للتحكم في أي جزء من الموقع يُسمح لمحركات البحث بفحصه. ومع ذلك، يجب أن يتم ملاحظة أن هذا الملف ليس آلية تحكم موثوقة تمامًا، حيث يمكن لبعض متصفحي الويب ومحركات البحث الخبيثة تجاوز هذه التعليمات. لذلك، إذا كانت هناك حاجة إلى حماية معلومات حساسة، يجب اتخاذ تدابير أمان إضافية.
أدوات شعبية
المشاركات الاخيرة
