robots.txt

robots.txt הוא קובץ טקסט קטן שיושב בשורש האתר ומגדיר לרובוטים של מנועי החיפוש לאן מותר להם להיכנס ולאן לא. זו הבקשה הראשונה שגוגל קורא כשהוא מגיע לאתר — כמו שלט “כאן כן, שם לא” בכניסה. משתמשים בו כדי לחסום סריקה של אזורים לא רלוונטיים לחיפוש, כמו עמודי ניהול, סלי קנייה או דפי סינון.

הקובץ הזעיר הזה הוא אחד המקומות שבהם טעות קטנה עולה ביוקר. שורה אחת שגויה יכולה לחסום את כל האתר מגוגל — ראיתי לא מעט אתרים שנעלמו לגמרי מהתוצאות בגלל שורת Disallow: / שנשארה בטעות מסביבת הפיתוח. מצד שני, שימוש נכון מכוון את גוגל לבזבז את זמנו על הדפים שבאמת חשובים לך.

איך הקובץ בנוי

שתי פקודות עיקריות: User-agent מגדיר לאיזה רובוט הכלל מיועד (* = כולם), ו-Disallow מגדיר מה לחסום. כל נתיב מתחיל בלוכסן. דוגמה טיפוסית:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.co.il/sitemap.xml

מומלץ גם לציין בקובץ את כתובת המפת אתר, כדי לכוון את גוגל אליה.

דוגמה מהשטח

חנות שחסמה בטעות Disallow: /product/ כדי “לחסוך משאבים” — וכל דפי המוצרים נעלמו מגוגל. התנועה האורגנית צנחה, וכל שקל שהושקע בקידום אורגני ירד לטמיון עד שאיתרנו את השורה. תיקון של שורה אחת החזיר את הדפים למעגל הסריקה.

שאלות נפוצות

האם robots.txt מסתיר דף מגוגל לגמרי? לא. הוא מונע סריקה, לא בהכרח הופעה. דף חסום עדיין יכול להופיע בתוצאות בלי תיאור, אם גוגל מצא אליו קישורים. כדי למנוע הופעה לגמרי משתמשים בתגית noindex, לא בחסימת סריקה.

איפה הקובץ צריך להיות? בשורש הדומיין בדיוק: example.co.il/robots.txt. במיקום אחר גוגל לא ימצא אותו.

איך בודקים שהקובץ תקין? דרך כלי הבדיקה ב-Google Search Console. אני תמיד בודק את הקובץ הזה ראשון בכל ביקורת טכנית — טעות בו יכולה לאפס את כל שאר המאמץ.

מה ההבדל בין Disallow ל-noindex? Disallow אומר “אל תסרוק”; noindex אומר “אל תציג בתוצאות”. לפעמים צריך דווקא לאפשר סריקה כדי שגוגל יראה את תגית ה-noindex ויכבד אותה.