גוגל פרסמו אתמול (31.10.11) ידיעה מעניינת בבלוג הרשמי שלהם, שמודיעה על כך שמהיום מנהלי אתרים יקבלו הודעה ב-Webmaster Tools על מקרים בהם מנוע החיפוש זיהה תוכן משוכפל. החידוש הוא, שמעתה גוגל יודיעו אילו מהכתובות שמכילות תוכן משוכפל נבחרה ככתובת לתצוגה בתוצאות החיפוש (וכפועל יוצא מכך, איזו כתובת תיעלם מהן).
cross-domain URL
מצב בו קבוצת דפים (מאותו דומיין, או בין דומיינים שונים) מכילה תוכן זהה נקרא cross-domain URL (לקריאה בהרחבה). ישנם מקרים בהם הכתובת לתצוגה בתוצאות החיפוש מוכוונת על ידי בעל האתר, למשל באמצעות קיומו של תג rel="canonical" או הפנית 301. במקרים אלו ברור לאלגוריתם מהו ה- URL המועדף לתצוגה ועל פי רוב התוצאה באמת מותאמת לבקשה.
השירות החדש, שבו תישלח התראה ב-Webmaster Tools אמור לסייע לבעלי אתרים במקרים בהם לא בוצעה פעולה מכוונת של בחירת כתובת אחת על פני השנייה. מטרתה של ההתראה היא בראש ובראשונה להתריע על מצב של cross-domain URL , אם בעל האתר לא גילה את הכפילות בעצמו ושנית – ליידע אותו לגבי הכתובת שתוצג לגולשים מתוך כל שכפולי התוכן, כך שאם זו לא הכתובת הנכונה מבחינתו אפשר יהיה לנסות ולפתור את הבעיה.
סיבות אפשריות לבחירת כתובת URL מועדפת
בפוסט, מפורטות סיבות אפשריות להעדפה של אלגוריתם החיפוש להציג URL מסוים, במקרים בהם אין בקשה מפורשת של בעל האתר:
- תוכן משוכפל ודומיינים מקומיים – גוגל מזהים את התופעה של שימוש בתכנים זהים בדומיינים שונים, לרוב מסיבות של פניה לקהלי יעד שונים מבחינה גיאוגרפית (למשל, אתרים זהים באנגלית שאחד מהם הוא uk והשני com).
ההמלצה הרשמית במקרים כאלה, היא להשתמש בתג קנוניקל או בהפניות בין האתרים, ובכל מקרה, לא לנסות להחביא את התוכן המשוכפל באמצעות חסימה לסריקה ב-robots.txt או באמצעות תג noindex. - שגיאות קונפיגורציה – בעיות מסוימות בהגדרות יכולות להוביל לכך שהאלגוריתם בוחר את כתובת ה-URL הלא נכונה להצגה. למשל:
- שגיאה בהגדרת תג קנוניקל – במקרים בהם כתובת הדף מצביעה בטעות על כתובת באתר חיצוני.
- שגיאה בהגדרות שרת – מצב בו האלגוריתם מזהה תוכן זהה בשני דומיינים שונים שמאוחסנים על גבי אותו שרת (למרות שזה לא המצב בפועל) בשל כשל בהגדרות השרת.
- פריצה לאתר – מקרים בהם שותלים באתר הפניית 301 או תג קנוניקל המפנים לאתר חיצוני (ספאמי או זדוני). ניתן לזהות מקרים כאלה באמצעות אופציית ה – Fetch as Googlebot שמראה כיצד גוגל קורא את הדף.
- תוכן מועתק – לפי גוגל מדובר במקרים נדירים בהם תוכן שמועתק שלא כחוק מאתר מסוים מופיע מעליו בתוצאות החיפוש. ההמלצה היא קודם כל לפנות לבעלי האתר שהעתיק את התוכן ולבקש מהם להסירו (בהתאם לחוק "זכויות יוצרים" שחל גם על תכנים מסוימים ברשת, לרבות תמונות וטקסטים. לקריאה נוספת). מעבר לכך, ניתן לפנות לגוגל ולהודיע על הפרת זכויות יוצרים.
החשיבות של השירות החדש למקדמי אתרים
שליחת ההתראה ב-Webmaster Tools אמורה לסייע למנהלי ומקדמי אתרים בזיהוי ואפיון מקרים של שיכפול תוכן. אין כמעט אתר שלא סובל ברמה זו או אחרת משכפול תוכן (בין אם הוא נוצר ע"י העתקה באתרים אחרים ובין אם נוצר באתר מסיבות טכניות שונות, כמו פרמטרים שמתווספים לכתובת). גוגל, כידוע, יכולים להגיב באגרסיביות למקרים מהסוג הזה. לפעמים, מקדמי אתרים מגלים שיש להם בעיה של תוכן משוכפל רק בדיעבד, אחרי שהאתר כבר נפגע במיקומים. הכלי החדש אמור לסייע בזיהוי של הבעיה מבעוד מועד כך שניתן יהיה לנסות ולטפל בה לפני הפגיעה בדירוגים.
