הוספת קובץ ROBOTS.TXT
קובץ robots.txt הוא קובץ קטן שמוצג למנועי החיפוש בכתובת קבועה באתר, ומגדיר להם לאילו חלקים באתר מותר להיכנס. בלי קובץ תקין, סריקת האתר עלולה להיות לא מסודרת, ולכן יצירתו היא אחד הצעדים הראשונים בקידום חנות וירטואלית או אתר.
מה הקובץ עושה
- נותן למנועי החיפוש הוראות סריקה: מה מותר לסרוק ומה לא.
- מצביע על מפת האתר (Sitemap), כדי שהעמודים ימצאו מהר.
- עוזר להימנע מסריקה של אזורים שאין סיבה להציג בחיפוש, כמו אזורי ניהול.
שימו לב: robots.txt אינו כלי אבטחה, ואינו מבטיח שעמוד לא יופיע בחיפוש. להסתרה מלאה משתמשים בהגדרות אחרות.
איך יוצרים את הקובץ במערכת של טואול
- נכנסים לממשק הניהול, להגדרות ה-SEO, ובוחרים בכפתור "Favicon, Sitemap, robots".

- לוחצים על "צור קובץ robots.txt".

מה עושים אחרי יצירת הקובץ
- יוצרים את קובץ ה-Sitemap, ומגישים אותו ב-Search Console.
- בודקים שהקובץ נטען בכתובת הדומיין שלכם, בסוף הכתובת /robots.txt.
- מוודאים שהוא אינו חוסם עמודים שאתם רוצים שיופיעו בגוגל.
להמשך: פעולות לזירוז סריקת האתר בגוגל וקידום אתרים אורגני.
שאלות נפוצות
זה קובץ שמגדיר למנועי חיפוש מה מותר להם לסרוק באתר. הוא חשוב כי הוא מכוון את הסריקה, ומצביע על מפת האתר שעוזרת לגוגל למצוא את העמודים.
לא בהכרח. הוא מונע סריקה, אבל עמוד עלול להופיע גם כך אם מקשרים אליו. להסתרה מלאה צריך הגדרת "לא לאנדקס" או הגנה בסיסמה.
פותחים בדפדפן את כתובת האתר ומוסיפים בסוף /robots.txt. אם רואים את תוכן הקובץ, הוא פעיל. אפשר גם לבדוק ב-Search Console.
צריכים עזרה? התקשרו 077-2700300.
ליצירת קשר