היי

אני מבקש לדעת כיצד ניתן לחסום לקיחת תכנים ע"י שרת אחר מדף קיים אצלי.

לצורך המחשה, אם אריץ את הקוד הבא לא אקבל דבר:

קוד:

$lurl = "http://www.ynet.co.il/home/0,7340,L-8,00.html";

$p=@file_get_contents($lurl);

ברוב האתרים הוא יציג את קוד המקור של האתר

כיצד ניתן לחסום זאת ? לא רק עבור הפונ' file_get_contents אלא גם עבור CURL ושאר האפשרויות שיכולות לייצא קוד מקור בצורה אוטומטית.

(אין לי בעיה שהגולש עצמו ייכנס ויעתיק ידנית אבל לא שירוץ סקריפט חיצוני ויזלול לי תעבורהׂ&#1474

תודה

אני לא מבטיח שהתשובה שלי נכונה ב100%, אבל זו דעתי -

אתה לא יכול.

השרת מקבל פנייה והוא לא יודע אם זה שרת או מחשב לגיטימי של לקוח.
הגבלות שעושים מדי פעם אתרים, ושאני מכיר, זה הגבלות איזוריות.
לדוגמא, חוסמים פניות מחו"ל ואז כל האתר לא יגיב לפניות, ולא רק עמוד ספציפי יחסם.


יצרתי עמוד עם הקוד שאתה הבאת והוספתי שורת echo וקיבלתי בדיוק את העמוד מynet.
הרצתי את העמוד גם מהמחשב הביתי שלי (ישראל) וגם משרת בחו"ל.
ב2 הפעמים קיבלתי את העמוד כולו בלי בעיה.

ברמת העיקרון, גם אם יהיו חסימות שמונעות משרת מסויים לקבל מידע (או כמו שאמרתי - חסימות איזוריות), אפשר לעקוף.


פיתרון אחר
אתה תמיד יכול למנוע מהדף לטעון את המידע בטעינה הראשונה, ורק אחרי שהעמוד נטען - תקלוט את המידע שאתה רוצה להגביל, באמצעות AJAX.
עד כאן זה יקשה מעט, על מי שלא מתמצא.
כדי להקשות קצת יותר, אתה יכול להוסיף לפניית AJAX מזהה כלשהו ייחודי של הקריאה/המשתמש/זמן הקריאה, כדי להקשות על הפנייה לשרת ממקור לא מורשה.

יש עוד כל מיני פיתרונות כאלה שמקשים מעט לזייף פנייה לגיטימית של לקוח, אבל אני חושב שבסופו של דבר אין פיתרון אידיאלי, שגם לא יגרום למשתמש הלגיטימי חוסר נוחות בגלישה באתר (captcha בכל עמוד? חחחח)

כמו שכתבו מעליי תמיד ניתן לזייף, אבל אתה יכול למנוע את זה ע"י שתבדוק את ה user_agent אם זה של דפדפן...

חתימתי העצומה בגודלה הוסרה ע"י השליט הבלתי מעורער שימי, למי שיש בעיה שיפנה אליו.


ד אַל תַּעַן כְּסִיל כְּאִוַּלְתּוֹ פֶּן תִּשְׁוֶה לּוֹ גַם אָתָּה. ה עֲנֵה כְסִיל כְּאִוַּלְתּוֹ פֶּן יִהְיֶה חָכָם בְּעֵינָיו

user agent ניתן לשינוי בקלות.

אבל, פרט מעניין מבדיקה שעשיתי - כאשר ניסיתי לקרוא עמוד דרך file_get_contents או דרך cUrl,
העמוד לא קיבל בכלל מידע אודות ה user agent של הבקשה.
בכל זאת, זה לא "חוק" קבוע, ואי אפשר ללכת גם לפי זה.

תודה אנשים

ציטוט:

כמו שכתבו מעליי תמיד ניתן לזייף

...

אולי הפונקציה הזו לא שולחת את ה user-agent, אבל אני מניח שאפשר דרך איזו פונקציה של PHP ליצור חיבור לשרת ולשלוח את המידע הזה..

חתימתי העצומה בגודלה הוסרה ע"י השליט הבלתי מעורער שימי, למי שיש בעיה שיפנה אליו.


ד אַל תַּעַן כְּסִיל כְּאִוַּלְתּוֹ פֶּן תִּשְׁוֶה לּוֹ גַם אָתָּה. ה עֲנֵה כְסִיל כְּאִוַּלְתּוֹ פֶּן יִהְיֶה חָכָם בְּעֵינָיו

כפי שכבר ענו לך, אין אפשרות מוחלטת, אך בתשובות תוכל לראות שבכל זאת אפשר לנסות לחסום, דבר שאולי יצליח אולי לא.

ראשית, אם מדובר במקרה מסויים, תנטר את כל הפניות לאתר כדי לזהות את ההבדל בין הבקשות הלא רצויות לשאר הבקשות ובהתאם לכך תוכל לבצע את החסימה (בקשה מכתובת IP מסויימת, UA זהה וכדומה).
שנית, תוכל לחסום באופן כללי בקשות עם מאפיינים חשודים. לדוגמה, חסימת בקשה שאינה כוללת UA.
ומעל הכל, תוכל לנטר את מס' הבקשות מאותו לקוח - לפי פרק זמן קצוב ובכך לזהות "בקשות רבות מאד" מאותו לקוח ולחסום את הבקשות מאותה כתובת.

תשים לב שאם אתה מבצע את פעילות החסימה בדף php מסויים, בקשות ישירות של תמונות, קבצי וידאו וקבצים סטטיים אחרים לא בהכרח יעברו דרך אותו ניטור, ודווקא הם אלו שצורכים יותר תעבורת נתונים.
(כמובן שניתן לבצע את הניטור בקבצי ה-PHP ובהתאם לכך לעדכן את שרת האינטרנט בפרטי החסימה, כך שהחסימה תהיה כללית יותר - עבור כל האתר).

בניית אתרים
פיתוח יישומי אינטרנט
שמות תחום, אחסון, עיצוב ושירותים נלווים.

פיתוח, שירות,יעוץ והדרכה.

למיטב זכרוני יש שרות של cloud flare שמתיימר לעשות בדיוק את זה... הכיוון שלהם הוא יותר dos וכל מיני בוטים שמתחזים למשתמשים, אבל אני מניח שזה גם יתאים למשיכת תוכן במידה כזאת או אחרת...