שלום לחברי הפורום,

הנני נמצא בשלבי פיתוח של אפליקציית Client-Server.
בהנחה שהשרת יצטרך להתמודד עם 75K-100K ברגע נתון (אני בן אדם אופטימי)

האם השימוש ב-MySQL הטבלאי-הקלאסי יכול לספק אותי?

נחשפתי למונח NOSQL ומשם הדרך הייתה קצרה להיכרות עם Cassandra ושאר פלטפורמות ה-NOSQL
אילו יתרונות/חסרונות יש במעבר למתודולוגיה הזו ששונה מאוד מה-"Relational model" הידוע?
נוח ופשוט לי לעבוד עם MySQL אך הבנתי ש-NOSQL מהיר בעשרות מונים ולכן מסוגל להתמודד עם יותר בקשות.

שאלה נוספת, בין אם אבחר ב-MySQL או NOSQL:
מה צריכה להיות הארכיטקטורה הנכונה בצד השרת מבחינת הניהול של מסדי הנתונים?
אני מניח שאצטרך יותר משרת אחד לניהול מסד הנתונים (Clustering). איך אפשר להעריך את הדברים האלה בשלבי פיתוח?

אשמח מאוד לקבל מענה על שאלותיי.
אינני מגיע מעולם מסדי הנתונים, אנא קבלו זאת בהבנה

תודה מראש !

כמה אשכולות מתחתיך

http://www.fresh.co.il/vBulletin/sh...ad.php?t=522297

הומוריסטי אבל נכון.

מה משמעות המספרים שכתבת, לא כל כך הבנתי. מה זאת אומרת "ברגע נתון" ? בשנייה אחת? בדקה? במילי שניה?

האם האפליקציה שלך תוכל בעצמה להתמודד עם העומס הזה *בלי קשר ל DB* ? כמו שנאמר בסרטון - "scalability is a complicated topic, and it's hard to make a general statement like that".

בכל מקרה, אני בספק שמישהו משתמש *רק* ב NoSQL (אם תבחר לעשות כן...) - ספציפית בשביל לאחסן את המידע הקבוע במערכת שלך...

נמאס לכם לזכור סיסמאות? לחצו כאן!

היי, אשמח לתגובה לגבי היכולות של MYSQL לעמוד בנתונים שהצגתי.
והאם המעבר ל-NOSQL נכון עבורי?

שוב תודה

לא הצגת נתונים המאפשרים לענות על השאלה הזו.

נמאס לכם לזכור סיסמאות? לחצו כאן!

אני אמור להתמודד עם 75K-100K פניות ברגע נתון.
התעבורה של המידע היא רובה ככולה טקסט

עכשיו, יכול להיות שמידע שיוכנס בזמן כלשהו למסד הנתונים.
יצטרך להישלף רגע אחרי ופה הבנתי שהיתרון של NOSQL.

יש לי שלוש שאלות מרכזיות:
1. האם MySQL יכול להתמודד עם כמות כזו של בקשות?
2. האם כדאי לי לעבור ל-NoSQL על סמך הנתונים האלה?
3. מהי כמות השרתים הדרושה (בהערכה גסה) עבור מסדי הנתונים?

תודה

אתה שוב חוזר על המושג "רגע נתון". מה זה רגע נתון. אני יודע למדוד מספר פניות מקסימלי ביחידת זמן (נגיד - שנייה). אין מושג מדעי שנקרא "רגע" ...

השאלה הגדולה שלך צריכה להיות לגבי הקומפלקסיות של המידע - כמה מסובך למשוך את המידע הזה. האם אתה צריך לבנות חיפושים מסובכים אשר מאגדים מידע מכל מיני טבלאות בכל שאילתא? אתה צריך להבין שזה הגורם העיקרי כדי לענות על השאלה "כמה כאלה מסד הנתונים שלי יכול לעשות בשנייה..."

ויש גם את עניין ה concurrency - נעילת טבלאות וכו'. כמה עדכונים אתה עושה, יחסית לכמה שליפות?

כמה חשוב לך שהעדכון שנעשה, יהיה מיידי?

האם איכפת לך שמידע ילך לאיבוד אם קרס לך השרת? אם כן, עד לאיזו דרגה?

וראה גם: http://memcached.org

ספציפית לשאלות שלך:

1. שוב, תלוי באופי השאילתות וביחס בין כמות העדכונים לכמות הקריאות שלהם. אתה צריך להבין ש"בעיקר קריאה" זה הרבה יותר פשוט מבחינת מסד הנתונים, כי אין לך בעיות של נעילות. ומבחינת סקאלאביליות, אתה פשוט יכול להוסיף עוד ועוד node-ים של MySQL שעושים replication אחד עם השני - כאשר שאתה שולף, אתה שולף מה"ילדים", ועדכונים אתה עושה רק למסד האב (שוב, רלוונטי רק אם אתה בעיקר קורא ולא כותב...) ?
2. אתה עדיין תצטרך לאחסן נתונים בצורה קבועה במסד אמין, לדעתי. אם אתה מעוניין רק ב cache, האם memcached לא יספיק לך (בייחוד בהתחשב באינטגרציה עם MySQL שזה מיועד לה...)
3. על זה הכי קשה לענות בהתבסס על חוסר ידע באופי צריכת המשאבים של השאילתא שלך, לפי ה business logic שלה... אתה צריך להבין שאין דין אפליקציה שמציגה עדכון סטטוס אחרון עבור משתמש, כדין אפליקציה שגוזרת נתונים סטטיסטיים מ 80 מקומות עבור המשתמש...

נמאס לכם לזכור סיסמאות? לחצו כאן!

קשה לי לתת תשובה מדויקת לשאלות האלה, למרות שאני נמצא בשלבי פיתוח יחסית מתקדמים.
השאילתות אינן מסובכות ומסתכמות בהכנסה ובשליפה ממסד הנתונים.
כן, פעולות הקריאה עולות על פעולות הכתיבה למסד הנתונים.

העדכונים הם מאוד תכופים (מדובר על משחק MMO)
אם יאבד מידע, זה דבר רע מן הסתם אבל לא מדובר על פרטי חשבון בנק.
קשה לי לענות על האם זה צריך להיות "מידי". אני מניח שהתשובה "כן, עד רמה מסוימת".

* תוכל לעמוד על ההבדלים בין Memcached ל- MongoDB (שמאוד קורץ לי)?
* מהם החסרונות העיקריים של NoSQL?

תודה רבה על העזרה :-)

אתה בטוח שאתה יודע מה אתה עושה?

מצד אחד אתה אומר "פעולות הקריאה עולות על פעולות הכתיבה"

מצד שני אתה אומר "העדכונים הם מאוד תכופים" ...

או שאני לא מבין אותך, או ש...

בכל אופן, קשה לך לתת תשובות מדוייקות אם לך בעצמך קשה לתת תשובות מדוייקות. מה MongoDB "קורץ" לך בדיוק, ומה הוא יכול לעשות ש memcached לא יכול לעשות, עבור סוג השימוש שאתה מתכנן?

ושוב אני חוזר ואומר: מה המהות של אי התאמה בין מידע שיש ב node-ים ? זה לא יהרוס לך את הכל?

האם שרת האפליקציה שלך בעצמו יעמוד בעומס כשהוא על מכונה אחת? האם אתה הולך לבזר אותו? אתה כבר יודע איך אתה הולך לבזר את המשתמשים? מערכת עם 100K משתמשים המתעדכנים ממנה ב real time זה חתיכת מפלצת עוד לפני שהתחלת לדבר עם DB.

החסרון העיקרי של NoSQL הוא שמלבד Performance, בערך כל דבר אחר גרוע יותר מכל צורת עבודה אחרת... אם אתה מוכן להתייחס אליו כ cache, אז סבבה. מסד נתונים אמיתי זה לא.

נמאס לכם לזכור סיסמאות? לחצו כאן!

תיקון טעות: במחשבה שנייה העדכונים ל-DB הם לא מאוד תכופים.
רוב הפעולות הן פעולות קריאה מה-DB .

אני לא יודע אם אני אחזיק 100K משתמשים אבל אני כן צריך להיות מוכן לזה.
50K משתמשים אונליין זה בהחלט אופציה מבחינתי.

כן, המטרה היא לבזר את העומס על כמה שרתים. יש לי תמיכה מובנית עבור זה
אני משתמש בטכנולוגיית SmartFox Server עבור זה.

מניסיונך, האם אתה רואה עדיפות כלשהי ל-Memcached מול mongoDB

אני מאוד אודה לך אם תוכל להסביר לי מהי המשמעות של cache לעומת מסד נתונים טבלאי.
ולמה אתה טוען שעבודה עם NOSQL היא גרועה?

אני מקבל כאב ראש , רק מלרפרף על האשכול.

קודם כל אתה צריך לפתח בשכבות. אתה חייב 4 שכבות : מסד נתונים, DATA ACCESS בישביל לגשת לנתונים מהאפליקציה (כנראה כדאי לך איזה פתרון ORM בימינו) , שכבת לוגיקה, ושכבת תצוגה (ממשק משתמש).

תשתמש בSQL אני אישית ממליץ בחום על PostgreSQL לדעתי הוא יותר טוב מ MySQL .
אל תשתמש בפתרונות NoSQL יש להם חסרונות מאוד מאוד מאוד גדולים, הם שווים את זה רק כשיש לך המון מידע עם סכימה מאוד פשוטה שלא צריכה שישמרו עליה יותר מידיי, ופועלים עליה המון קריאות. כשתגיע למצב שיש לך מאה אלף משתמשים, אז תחשוב על זה.

הבעיה הכי גדולה שלך תהיה לפתח אפליקציה שתהיה Scalable , ולא המסד נתונים. אני מבטיח לך שאתה יכול להגיע לכמה אלפי משתמשים בכיף עם מסד נתונים MS ACCESS ....

תודה על התגובה,
אני עובד עם PureMVC בצד הקליינט ועם SmartFox Server בצד שרת.
הידע ב-DB לוקה אצלי בחסר לצערי ועליי לבחור בטכנולוגיה המתאימה.
אני מפתח משחק MMO ואני צופה עשרות אלפי משתמשים אונליין.

* מהם החסרונות של פיתוח עם NOSQL
* עומדות בפניי הרבה אפשרויות.. להמשיך עם פיתוח MySQL לעבור ל-NOSQL (מינגו, קסנדרה, ממקשד..)
או בכלל PostgreSQL ). איך לבצע את הבחירה הנכונה? אני לא רוצה להחליף טכנולוגיה בעוד X חודשים.

תראה, אני לא מכיר לא את PureMVC ולא את SmartFox . וזה שלשני אין מאמר בוויקיפדיה לא מעודד.

אתה מבין כמה זה עשרות אלפי משתמשים? אתה מבין כמה זמן יקח לך להגיע לזה? חוץ מזה שפתרון SQL טוב יאכל את זה בכיף. בכל מקרה אני הייתי הולך על PostgreSQL בלב שלם.

כל הרעיון בפיתוח בשכבות ד"א זה לאפשר לך גמישות ומודוליות בארכיטקטורה, כלומר גם להחליף טכנולוגיות אם צריך.

NOSQL זה שם כללי לטווח גדול של פתרונות טכנולוגיים, שונים, ולכל אחד יש יתרנות וחסרונות אחרים. בגדול הבעייתיות ברובם זה שהם לא ACID, כלומר הם לא מבטיחים לך תקינות של המידע. וגם לאו דווקא מסיימים פעולה לפני שאומרים לך שהיא הסתיימה. במילים אחרות זה משהו שכדאי להשתמש בו רק כשאתה ממש צריך.