מטא תג robots מספק הרשאות שונות לרובוטי סריקה באשר לדף מסוים באתר. כשאר תגי המטא, הוא מופיע בחלק ה-head של הדף. התג מגדיר לרובוטי הסריקה בעיקר אם לאנדקס דף מסוים או אם לעקוב אחר קישורים מדף זה, אולם יש לו ערכים אפשריים נוספים.
אילו ערכי תג robots אפשריים?
noindex: מניעת אינדוקס הדף בבסיסי הנתונים של רובוטי הסריקה:
nofollow: מניעת אישור לרובוטי הסריקה לעקוב אחר קישורים יוצאים מדף זה. בעצם מטא תג nofollow הופך את כל הקישורים שבדף לקישורי nofollow, זאת לעומת ערך nofollow ברמת הקישור הבודד (rel nofollow) שלא מאפשר מעקב אחר קישור ספציפי אחד בלבד:
noarchive: מניעה מגרסה שמורה של הדף (cashed copy) מלהופיע בתוצאות החיפוש:
nosnippet: מניעת הצגת תיאור הדף (המופיע תחת כותרת הדף) בתוצאות החיפוש, כלומר תוכנו של תג meta name descrption או פיסת טקסט הלקוחה מתוך הדף (snippet) או תיאור האתר באינדקס דמוז (Dmoz), לא יוצגו בתיאור הדף בתוצאות החיפוש. שימוש בתג nosnippet מפעיל גם את תג noarchive, כלומר הוספת תג nosnippet גורמת גם למניעת הופעה של העותק השמור של הדף בתוצאות החיפוש:
noodp: חסימה של כותרת הדף והתיאור שלו באינדקס דמוז (Dmoz: Open Directory Project) מלהופיע בפרטי הדף בתוצאות החיפוש:
all: התרה של כל כל הערכים האפשריים, כלומר: index, follow, archive וכו':
none: מניעת כל הערכים, כלומר: noindex, nofollow, noarchive וכו':
Robots meta tag – הידעת?
מטא תג robots יכול להכיל כמה ערכים מופרדים בנקודה-פסיק, ובהחלט מומלץ לקבץ כמה ערכים בתג אחד כדי לשפר את קריאת הנתונים ולמנוע הוראות סותרות.
דרך אגב, אם רובוטי סריקה אמנם ייתקלו בהוראה סותרת, למשל:
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="index, follow">
הם יכריעו לחומרה, כלומר יתייחסו להוראה כאל noindex, nofollow.
כבררת מחדל רובוטי סריקה מאנדקסים דפי אינטרנט ועוקבים אחר הקישורים היוצאים מהם (הרי זה בדיוק יעודם…) ולכן אין צורך להוסיף תג robots שהערכים שלו הם: index או follow וכו'.
כדי להנחות את כלל רובוטי הסריקה להימנע מפעולה מסוימת בדף, נציב את הערך הכולל 'robots' באטריבוט 'meta name' של התג, אולם כדי להורות רק למנוע חיפוש מסוים להימנע מכך (למשל מנוע החיפוש הראשי של גוגל, ה-Goolebot), נגדיר את התג כך:
מתי כדאי להימנע מאינדוקס של דפים?
למשל דפים המכילים תוכן אינטימי, דפים הדורשים הרשאה, דפי כניסה למערכת ניהול ודפי תוכן כפולים.
דרך אגב, תג robots אינו case-sensitive, כלומר אפשר לכתוב את הערכים השונים שלו כך: noindex, או כך: NOINDEX ואף כך: Noindex.
ההבדל מבחינת רובוטי הסריקה בין הוראות קובץ robots.txt ובין הוראות מטא תג robots הוא זה: אם דף נחסם לסריקה על ידי קובץ robots.txt, רובוטי סריקה לא יגיעו אליו, ומן הסתם לא יקראו את תגי המטא שלו. לעומת זאת, אם הדף מותר לסריקה בקובץ robots.txt, אבל נחסם למשל לאינדוקס בתג המטא, רובוטי הסריקה יגיעו לדף, יקראו את תג המטא אך לא יאנדקסו אותו.
כמה הבדלים בשימוש בקובץ robots.txt ובמטא תג robots
- מניעת סריקה: קובץ robots.txt ימנע סריקה ואילו מטא תג robots לא ימנע אותה.
- מניעת אינדוקס: קובץ robots.txt ומטא תג robots ימנעו אינדוקס, אם כי במקרה של קובץ robots.txt, דפים חסומים עשויים להופיע באינדקס, ללא כותרת וללא טקסט תיאור (Meta Description).
- מניעת רישום קישורים: קובץ robots.txt לא ימנע רישום, ואילו מטא תג robots יסיר את הקישור ממפת הקישורים, לפחות של גוגל.
- הבדלים בשימוש: בקובץ robots.txt נשתמש בעיקר אם רוצים למנוע גישה לספרייה שלמה, ואילו במטא תג robots נשתמש אם אין גישה לספרייה הראשית של האתר וכן אם רוצים למנוע אינדוקס של דף מסוים או מעקב אחר קישורים מדף זה בלבד.
