אחת הבעיות באתר שלי עם מנועי חיפוש, היא שרוב העמודים נגישים רק למשתמשים רשומים.

אך הבנתי שיש דרך לגרום לבוטים (של גוגל בעיקר) לגשת גם לתוכן שכזה, למשל באחד הפורומים שכתבתי ניתן לראות הודעה רק אם אתה משתמש רשום:
http://ohioloco.ubuntuforums.org/sh...d.php?p=6977914
אבל את הלינק לעמוד הזה מצאתי דרך גוגל כשהוא קרא את תוכן האשכול.

האם יש באמת אפשרות 'לחבר' את הבוט לאתר?

כן בוודאי, קודם אתה צריך לזהות בוודאות שזהו רובוט חיפוש, קרא כאן:
http://www.google.co.il/search?hl=i...%95%D7%A9&meta=

(בלינק השני הרבה מידע)

בדר"כ השיטה שיצא לי לראות בהרבה מקומות היא ע"י וידוא כותר ה- user agent, אבל כדאי לוודא את ה-host name ובמיוחד את ה-IP Address (שהוא אמור להיות קבוע...)

1. בהתאם לתקנון גוגל, אסור לך בשום אופן להציג לרובוט שלהם נתונים שונים מאשר לכל גולש אחר, לכן התאמת התוכן בהתאם לערך המשתנה user agent לא מומלץ (הסיבות הן כמובן כדי למנוע קידום לא חוקי).
2. אני חושב שהכתובת ip לא קבועה, אם כי סביר להניח שיש איזשהו טווח קבוע.

וזיהוי לפי IP\Host name זה כן חוקי?

Gallery

Pentax K100D + Pentax SMCP-DA 18-55mm f/3.5-5.6 AL + SMC Pentax-M Macro 1:4 50mm + SMC Pentax 1:2.8/105mm + SMC Pentax-M 1:2.8 35mm + SMC Pentax 1:1.4/50mm

גם לא חוקי.
אני לא חושב שזה נורא מסובך: כל התאמה של תוכן עבור מנוע החיפוש של גוגל בצורה שונה מאשר יקבל כל גולש אחר, אינה חוקית לפי התקנון של גוגל.

אפשר לתת לגוגל באמצעות webmaster tools או איך שהם לא קוראים לזה (אחרי שהוכחת בעלות על האתר) הגדרת שם משתמש וסיסמא, וגוגל יתחבר לאתר שלך כמו כל גולש אחר.

נמאס לכם לזכור סיסמאות? לחצו כאן!

בדיוק נרשמתי לשירות הזה אתמול, ולא מצאתי שם את האפשרות.

טעות שלי. אני מכיר את השירות ממקום אחר. זה אפשרי במנגון הפרסומות שלהם (AdSense) שאמור להציג פרסומות גם בדפים "פרטיים", וככה הם עושים את זה.

אבל אתה באמת יכול תמיד לבדוק לפי useragent וטווח כתובות ה IP שלהם, וכמובן לסמן את הדפים עם כותרי no-cache כדי שכשמגיעים אליהם מגוגל, לא יהיה cached copy...

נמאס לכם לזכור סיסמאות? לחצו כאן!

זכור לי שמלבד השירות שציינת יש שירות דומה גם למנוע החיפוש, השירות גם מאפשר (באמצעות כמובן הסכמה של בעל האתר לנוהל זה) להכנס מהקישור של גוגל לדף המוגבל ללא ההרשמה ורק מעבד מאותו דף לדפים אחרים ימנע ממנו במידה והוא לא רשום.
השם של השירות למיטב זכרוני הדל דומה ל"כניסה ראשונה" (מבוסס על הרעיון שהדף הראשון אליו יכנס הגולש מגוגל לא יהיה חסום לו ורק שאר דפי האתר יוגבלו במידה והוא לא רשום).

כן, כזה דבר יש. אבל זה לא בדיוק מה שהוא רוצה, וה"שירות" הזה מתבסס על... הסתמכות על ה User agent כדי שגוגל יקבלו את התוכן, והסתמכות על referrer אחרי שהגולש מקליק על הלינק, כדי לתת לגולש לקרוא את הדף הראשון בלי להרשם/לשלם.

נמאס לכם לזכור סיסמאות? לחצו כאן!