סריקה של גוגל

רובוטים הם פרימיטיביים, אז הם מעדיפים אתרים פשוטים. ולא אתרים מתקדמים שכוללים :

שימוש בקישורי JavaScript בלבד:הרובוט לא יודע לזהות קישורים הלו רק קישורים רגילים של ב HTML
ולכן הוא לא יראה אותם ולא יציג אותם 

פלאש : הרובוטים העידן החדש כן מצליכים לקרוא קצת פלאש אבל עדיין זה עניין שמקשה עליהם וזה לא ניראה על ידי הרובוט בעיין טובה

להמשך קריאת מאמרים מעניינים

איי פריימס :טכנולוגיה חדשה כמו ב פייסבוק אך בעיתית בגלל שזה תוכן שתמיד משתנה ונמצא בחלון המיועד לו ולכן לא רואים את הקוד שביפנים

דפים דינמיים: דפים הלו יראו כדפים שונים גם למרות שזה היה באותו דף ואז הרובוט יראה את זה כדפים שונים בעלי שיכפול מידע ולכן יפסול אותם ולא יראה אותם בתוצאות החיפוש

מידע על שטח

דרישת  Cookies: הרובוט של מנוע החיפוש לא יודע לייצר Cookies בזמן החיפוש ולכן אם קיים דף שכדי לייצג אותו צריך Cookies אז הוא לא יוכל להגיע אליו


פריימס - Frames: זה כבר פחות נפוץ אבל העיכרון שמאחורי זה כאשר יש דף ראשי וכול שאר הדפים הם פנימיים ואז המכונה לא רואה את הדפים הפנימיים 

 



עוד מידע על סריקה קצת אחרת בדה מרקר