אהלן אנשים,

אני מפתח Windows \ Web מנוסה אבל לא יצא לי לעבוד עם מערכות DB גדולות. אני מתחיל בפיתוח אתר פיננסי (בדומה לbizportal.co.il) ואחת הדילמות הגדולות שנתקלתי בהן הינה שאלת הDB

האתר שלי צריך להציג נתוני מניות, מט"ח ועוד בזמן אמת. יש לי API מעל הWEB לקבלת הערכים האלה. מה עדיף מבחינת design?
1. לחבר את הfrontend ישירות לAPI להצגת המידע
2. לכתוב backend worker ששומר נתונים כל הזמן מהAPI לתוך DB שלי, ולחבר את הfrontend לDB הזה?

עקרונית, להשתמש בDB משל עצמי נשמע יותר טוב כי אני יכול להסתכל אחורה על הנתונים במהירות ובלי תלות בAPI, אבל האם זה הגיוני? האם אני חושב נכון?
האם מסד נתונים מודרני יכול להחזיק כמויות כה ענקיות של נתונים הגודלים כל הזמן?

אשמח לשמוע את דעתכם - המון תודה!

DB לאגור את המידע, וכיוון שאתה לא צריך באמת "זמן אמת זמן אמת", אלא דיליי קצרצר גם אפשרי - מנגנון caching סטייל memcached יעזור לך לא לטחון את ה DB הזה.

לגבי "כמה מסד נתונים יכול להחזיק" - לפחות ב MySQL - גודל טבלה מוגבל לגודל הקובץ המקסימלי במערכת הקבצים שעליה יושב הקובץ של הטבלה. ברוב מערכות הקבצים המודרניות, מדובר על 2TB וצפונה (כלומר בטבלה בודדת תוכל לאחסן נפח כזה של נתונים). כמובן ששום דבר לא מונע ממך לעשות חלוקה לטבלאות לפי מכנה כלשהוא, שיהיה מובנה באפליקציה (למשל - rates_2011, rates_2010) - ואז כל שנה תהיה מוגבלת לך ל 2TB, וכמובן שאפשר גם לקחת את זה לכיוון הפרדה ברמת חודש (חפש בגוגל Sharding). כמובן שאם האפליקציה מבצעת ניתוחים בהתבסס על המידע, יהיה צריך להתחשב בזה, אם טווח המידע המנותח חופף שתי טבלאות שהופרדו כך או יותר.

נמאס לכם לזכור סיסמאות? לחצו כאן!

המון תודה על התגובה.
האם תוכל להפנות אותי למידע נוסף על מנגנוני caching?
יצא לי לעבוד עם MSSQL וSQLite אבל שוב ברמה יחסית נמוכה (ללא אופטימיזציית ביצועים וכו').
על איזה מסד נתונים כדאי לי להסתכל?

אופטימיזציה בסנריו יחסית פשוט כמו שהצגת היא בד"כ לא מדע טילים

לגבי caching, אין הרבה מידע נוסף שאפשר לתת לך. הקונספט דומה, ללא קשר למימוש המסויים שתבחר: יש לך מפתח שמחזיק מידע, שאתה קובע את שמו, ואתה עושה עליו פעולות get/set/replace על שם המפתח, ומעדכן/קורא את המידע שבו... וזהו, פחות או יותר...

memcached הוא הכי פשוט למימוש לדעתי מבחינת סיבוך ה software stack שלך... ויש המון דוגמאות באתר שלהם על כל מה שאפשר לעשות...

נמאס לכם לזכור סיסמאות? לחצו כאן!