שלום, אני איתן
אני צריך עזרה בארגון הטבלאות של מערכת פורומים שאני בונה..
כרגע מה שעשיתי זה טבלת משתמשים, טבלת הפורומים (רק הID והשם שלהם) ועד לפה הכל די מסתדר..
הפורומים שלי מאורגנים בצורת אשכולות
השאלה-יש לי מספר אופציות לארגון מסד הנתונים שלי.. מהי הדרך הטובה ביותר?

1. לכל פורום לפתוח טבלה ושם יופיעו כל ההודעות של הפורום. מבנה:
פורום1(מספר_אשכול,מספר_הודעה,טקסט_הודעה,שולח_ההודע ה)
.
.
פורוםk(מספר_אשכול,מספר_הודעה,טקסט_הודעה,שולח_ההודע ה)
-אני לא אוהב את הדרך הזאת כי היא מאוד לא יעילה מבחינת זמן ריצה..
אם אני רוצה להציג את כל ההודעות של אשכול 5 למשל אני צריך לעבור בדרך גם על אשכולות אחרים.

2.דרך מטורפת שאני מימשתי מתוך נואשות לזמן ריצה קצר ביותר וחוסר איכפתיות מוחלט לבזבוז שטח על הHD:
פורום1(מספר_אשכול,שם_אשכול,פותח האשכול)
אשכול1(מספר_הודעה,טקסט_הודעה,שולח_ההודעה,מתי_נשלחה ?)

באופן דומה לכל פורום יש טבלה שבה מצויינים הרבה אשכולות וכל אשכול כזה הוא טבלה בעצמה שמכילה את ההודעות השייכות לאותו אשכול.
לדעתי הדרך הזאת מאוד בזבזנית בHD.. אז גם את זאת אני לא כל כך אוהב..

אשמח לשמוע את דעתכם המקצועית

א) הדרך השניה לא תתרום לזמן ריצה גבוה כשיוצרים אשכול חדש

ו- ב) הנה הדרך שבה עושים את זה:
טבלת פורומים עם שדות
id אינדקס, Auto Incerment
name שם הפורום
ופה מה שבא לך, תלוי מה אתה רוצה בפורום

טבלת הודעות:
id אינדקס, Auto Incerment
parnetId ה-id של ההודעה שמעליה, בין אם זה פורום משורשר או לא צריך את זה, וכמובן, אם זה ההודעה הראשונה באשכול, ה- parentId יהיה שווה ל-0
forumId לאיזה פורום שייכת ההודעה?
title- כותרת ההודעה
content-תוכן ההודעה

זה הכי בסיסי, אתה יכול להוסיף userid שיהיה בו ה-id של המשתמש וכו', אני יוצא מנקודת הנחה שכבר סיכמת מה אתה רוצה.

עכשיו, כשנכנסים לפורום, אתה שולף את כל ההודעות שה-forumId שלהם הוא ה-id של הפורום, וה-parentId שלהם הוא 0, כלומר ההודעות הראשונות.

כשאתה נכנס לאשכול, אתה שולף את ההודעת שה-Id שלהם הוא ה-id של ההודעה הראשונה, או שה-parentId שלהם הוא של ההודעה הראשונה.

וככה זה הולך, ומקווה שזה היה ברור כי קצת הסתבכתי עם עצמי

"הדרך השניה לא תתרום לזמן ריצה גבוה כשיוצרים אשכול חדש"

אם הבעיה היא הוספת אשכול אז יש לזה פתרון.. אפשר לשמור בטבלת עזר את מספר האשכול הבא שצריך לפתוח.. מה שאומר שבסה"כ כשפותחים אשכול צריך לקרוא מהטבלה ולעדכן אותה בפלוס 1
בדרך הזאת אתה מאריך בכלום שניות את תהליך הוספת האשכול אבל מצד שני כשאתה רוצה לבחור את כל ההודעות של אשכול מסויים אז אתה ישר קורא מהטבלה ואת הערכים הרלוונטיים לאשכול שלך.. לעומת הדרך שאתה הצעת ששם אתה צריך לעבור על כל ההודעות של כל הפורומים..

השאלה העיקרית שלי אלייך היא האם פתיחת מליוני טבלאות תופסת הרבה מקום בHD..
אם זה לא תופס הרבה וגם אין בעיה מבחינת מהירות בדרך שלי אז אני אבחר בשלי.. אלא אם כן תכוונו אותי לדרך אחרת יותר מהירה..

אני חושב שהדרך ה"רגילה" היא הכי טובה... [ כלומר, לא מה שהצעת ]

עכשיו שמתי לב שנדב הגיב אבל בכל זאת אמשיך

בעיקרון מה שאתה צריך זה 3 טבלאות:
1. טבלה המכילה את שמות הפורומים, עם מספרי זהות שלהם (id).
2. טבלה המכילה את האשכולות שבכל הפורומים, כאשר לכל אשכול יש שיוך לפורום המתאים ע"פ id של הפורום.
3. טבלה המכילה את כל ההודעות שבכל האשכולות שבכל הפורומים, כאשר לכל הודעה יש שיוך ל-id של האשכול המתאים.

וזהו.

דברים נוספים שיכולים להשפיע על זמן הריצה שלך זה כתיבת שאילתות לא יעילות, ו\או שרת חלש יחסית.

דבר נוסף,ב-2 הדרכים שהצעת אין בזבזנות של ה-HD, כי לפתוח טבלה או טור זה סה"כ כמו שאתה פותח תיקייה על המחשב. זה לא מבזבז מקום...

בכל אופן, לדעתי תמיד צריך לשים את זמן הריצה במקום הראשון בסדר העדיפויות. בנוגע למקום ב-HD - תמיד אפשר לקנות עוד במידה ותצטרך...ואם תצטרך - סימן שהאתר שלך מצליח וזה כבר לא תהיה בעיה בשבילך עניין הקניית מקום ב-HD.

"בעיקרון מה שאתה צריך זה 3 טבלאות:
1. טבלה המכילה את שמות הפורומים, עם מספרי זהות שלהם (id).
2. טבלה המכילה את האשכולות שבכל הפורומים, כאשר לכל אשכול יש שיוך לפורום המתאים ע"פ id של הפורום.
3. טבלה המכילה את כל ההודעות שבכל האשכולות שבכל הפורומים, כאשר לכל הודעה יש שיוך ל-id של האשכול המתאים."

הדרך הזאת בסדר.. והיא די חמודה.. כאילו אתה מתכוון לחלוקה לוגית של ההודעות לאשכולות ולא חלוקה פיזית..
הבעיה שלי פה היא שאם אני רוצה לקחת הודעות של אשכול ספציפי (ואני עושה את זה כל הזמן) אז זמן הריצה יהיה גבוה כי זה צריך לעבור על כל טבלת האשכולות ועבור כל אשכול צריך לעבור כל כל ההודעות שקיימות בבסיס נתונים שלי.. זה נראה לי זמן ריצה גדול מדי..

בשביל זמן ריצה טוב יותר תשתמש ב-INDEX או ב-PRIMARY. זה יציב את טור ה-id ראשון או בין הראשונים בטבלה.

ציטוט:

במקור נכתב על ידי DCD בשביל זמן ריצה טוב יותר תשתמש ב-INDEX או ב-PRIMARY. זה יציב את טור ה-id ראשון או בין הראשונים בטבלה.

ועדיין, מאחורי הקלעים שאני אעשה SELECT להודעות הרלוונטיות, יש חיפוש ארוך ומתיש של הSQL..

אני אוהב את הדרך שלך כי זה עושה לי חיים פשוטים בתור מתכנת.. אבל אני מעדיף לעבוד קשה כדי שהמשתמש יראה את ההודעות שלו כמה שיותר מהר..

אז אין בעיה, חיים קשים ביקשת:

כיוון שאנו עוסקים באיחסון מידע רב ודומה בצורה כזו שיהיה קל לשלוף אותו מהר, לדעתי הדרך הכי יעילה שחשבתי עליה היא כדלקמן (כרגע אתייחס להודעות, ולא לאשכולות או פורומים):

צור DB באופן דינאמי, שבו, ובכל הבאים אחריו, יהיה X (מייצג מספר מקסימאלי) טבלאות המכילות הודעות.
בכל טבלה יהיה Y רשומות של הודעות.
במידה והטבלה הגיעה ל-Y הרשומות שלה, תצטרך ליצור טבלה חדשה, שבה תכניס את כל ההודעות הבאות.
במצב שבו ה-DB הגיע ל-X טבלאות של הודעות אצלו, צור DB חדש שגם בו יהיה עד X טבלאות של הודעות.

את כל הפעולות האלה תתעד בטבלה אחרת ב-DB של מערכת האתר, כדי שתדע מאיפה (מאיזה מסד) לשלוף איזו הודעה, ובנוסף בתוך ה-DB שנכנסת אליו, תיצור טבלה ייחודית שבה יהיה התיעוד של ההודעות המתאימות שאתה צריך לשלוף...

כל זה מאותו עיקרון היעילות שרצית - קבעתי גבול X למספר טבלאות ב-DB וגבול Y למספר הודעות בטבלה כדי למנוע חיפוש ארוך ומתיש. את הגבול הזה אתה תיקבע...

בנוגע לביזבוז HD אין לך מה לדאוג במקרה זה, כי כמו שאמרתי קודם זה כמו עניין של פתיחת תיקיות במחשב שלך.

אבל אני ממליץ שתלמד מניסיון של אחרים - תסתכל על מערכת vBulletin או IPB ותראה איך הן מסדרות אצלן את הטבלאות.

א. אני לא מכיר מקומות שבהם אפשר לראות את מסד הנתונים..
ב. ההצעה השנייה שלך דווקא יפה.. אני יכול ככה לעשות דפדוף מהיר מעמוד לעמוד (בהנחה שאני מפצל הודעות של כל אשכול ל-X הודעות).

ואם נחשוב על זה במונחים טבלאיים, יש לי:
1. טבלת פורומים
2. טבלת אשכול לפורום
3. טבלת אשכול_משנה_לאשכול
4. טבלת אשכול_משנה1,אשכול_משנה2_אשכול_משנה3

סה"כ עכשיו ההודעות תשבנה בתוך טבלאות של "אשכולי משנה" (4)
כל טבלת אשכול תצביע לטבלאות "אשכולי המשנה" שמרכיבים את האשכול (3)
וכל טבלת פורום (1) תצביע לטבלאות האשכולות שמרכיבים אותו(2)

לדוגמה: מערכת הפורומים שלי היא "מחשבים" (טבלת פורומים של מחשבים)
יש לי פורום "מסדי נתונים ושפת SQL" (טבלה של פורום מספר k)
בפנים יש לי אשכול בשם "צריך עזרה-ארגון טבלאות של מערכת פורומים בצורה מנורמלת, יעילה וחסכונית" (טבלה של אשכול מספר x)
ואנחנו כאילו נמצאים עכשיו באשכול המשנה שהID שלו 1 בתוך אותו אשכול..
ברגע שתהיינה 10 הודעות, ההודעה ה-11 תעבור כבר לטבלת אשכול משנה 2.

איך הרעיון עכשיו? זה לא נראה לי מסובך..

בוא נניח שכרגע יש לי 5 עמודים של הודעות, כאשר 5 זה העמוד החדש ביותר.
אני רוצה להגיב לעמוד 2 שכבר הגיע למגבלת ההודעות
התהליך לוקח די הרבה זמן כי עכשיו צריך לעשות הזזה של ההודעה החדשה ביותר לעמוד 3 וההודעה החדשה ביותר של עמוד 3 לעמוד 4 וההודעה החדשה ביותר של עמוד 4 לעמוד 5 ואם 5 כבר מפוצץ ניצור עמוד 6.
זה יכול לצאת בסדר אם באמת רק ל5 העמודים החדשים ביותר תהיה מותרת התגובה..

הדרך שהצעת נוגדת את חוקי הנרמול.

ציטוט:

במקרה של חלוקת נתונים מסוג אחד לטבלאות שונות ("משתמשי כרטיס ישראכרד", "משתמשי כרטיס דיינרס", "משתמשי כרטיס ויזה"...) או לשדות שונים ("קורס1", "קורס2", "קורס3"...). כל הפעולות של עבודה עם טבלאות יסתרבלו, מכיוון שיהיה צריך ליצור שאילתות, טפסים ודוחות שונים לכל טבלה, או לבצע חיפש על שדות רבים במקום על שדה אחד.

מה שעושים במקרה כזה, בהנחה שרוב הפעמים רואים את העמוד הראשון, שני, מקסימום חמישי, עושים טבלת ארכיון, נותנים לכל פורום 200 הודעות, לדוגמא, ואז כל פעם שמכניסים הודעה, מעבירים לארכיון את כל ההודעות הישנות.

בחיפוש משתמשים ב- JOIN, או שמעבירים את הכל לטבלה זמנית ומחפשים ממנה, לא יודע מה עדיף..

לגבי העמודים, תתן מספר שמצד אחד ייתן לך מספיק דפים, ומצד שני לא ידרוש יותר מידי, ותציג רק את ההודעות החדשות, אין מה לעשות, ביצועים עולים בדברים אחרים.

אפשרות אחרת זה כל פעם שזה מגיע למספר מסוים, להעביר דף שלם של הודעות (נראה לי עדיף) ואז שאתה מקבל עמוד, אתה סופר כמה הודעות זה כל העמודים שחדשים ממנו, ואם זה גדול מהמספר שהגדרת, תשלוף מהארכיון.

לא תהיה שום בעיה בחיפוש.. עושים RecordSet אחד שלוקח את כל האשכולות של פורום מסויים
ואז בפנים עושים חיפוש בכל העמודים של אשכול מסויים שאני נמצא בו עם LIKE..
(לולאה בתוך לולאה)
הכל מסתדר בלי שום בעיה..
בקשר לנרמול-הכפילות מידע היחידה שיש היא במבנה הטבלאות עצמו.. לא בתוכן..
שים לב לציטוט.. הם התכוונו שהשדות משתנים מטבלה לטבלה ואז צריך לעשות משהו ייחודי לכל מצב..
אצלי, כל טבלה היא למעשה המשכיות של הטבלה הקודמת.. עם אותם שדות בדיוק.. אפשר ממש לעשות NATURAL JOINים..מה שאומר שכל הפעולות תהיינה אותו דבר בדיוק.
ובכל מקרה, אם הבחירה היא בין עבודה יפה לעבודה מהירה אז אני בוחר במהירה..
ופה באמת שאין מה לעשות כי פה כמו בהרבה מקרים אין שחור ולבן..
לך תסביר למשתמש שמחכה שעה שהדף יעלה שיכולת למנוע את זה אבל פשוט רצית להיות מסודר יותר ולעבוד באופן "נקי" ופשוט יותר..

זהו, שזה לא המצב, אתה פרנואידי בנושא...

אני לא יודע מה זה RecordSet אבל לולאה בתוך לולאה.. לא משהו שנשמע לי נחוץ..

אתה רוצה לחלק לטבלאות? אין בעיה, תיצור טבלאת ארכיון, אין סיבה שכל כמה זמן תמשוך עוד טבלה ועוד טבלה ותגיש עוד שאילתות ועוד שאילתות, ובגלל באג במערכת, תעשה אינסוף שאילתות, אם כבר מדברים על יעילות..

תעשה חיפוש עם NATRUAL JOIN, אין בעיה, אבל תדע שהאפשרות המהירה היא בדרך כלל האפשרות היפה.

תעשה שני טבלאות, לא צריך יותר, אחרת המערכת רק תהיה יותר מסורבל, משמע פחות מהירה כי היא עושה הרבה מאוד דברים.

גם שם כתוב שהנרמול זה לא תורה מסיני, אז בדוגמא שהם הביאו הרבה יותר נכון לעשות שדה שהוא סוג כרטיס האשראי.

במקרה הספיציפי הזה, טבלת ארכיון אחד תספיק, לא צריך יותר מזה.. במיילא רוב הפעמים שבהם תשלוף מהטבלאות האלה זה במקרה של חיפוש ואז אתה שולף מכל הטבלאות..

ולציטוט, כתוב: " במקרה של חלוקת נתונים מסוג אחד לטבלאות שונות" הודעות בפורום א' והודעות בפורום ב' זה אותו סוג נתונים..

כתוב שם בידיוק למה יש חוקי נרמול, לא בשביל קוד "נקי" ויפה, אלא בשביל יעילות ופתירת בעיות

וזה ממש לא עונה לבעיה
שאם תקח את FRESH לדוגמה.. יש מליונים של פורומים, אשכולות והודעות.. למה לחפש בכל המליונים אם אפשר לשלוף פשוט מהפורום,האשכול והעמוד הרלוונטי?

שלא תבין לא נכון.. הייתי מאושר לבחור בדרך שלך אבל בינתיים לא מצאתי שום פעולה שאני מתכוון לעשות שתהיה פחות מהירה בדרך שלי...חוץ מתגובה לעמודים ישנים שתדרוש הזזה של הודעה אחת מכל פורום קדימה (מה שבמילא לא מהווה בעיה כשאתה מתכוון לאפשר תגובה רק ב5 העמודים הראשונים ולהתייחס לשאר כארכיון).

הדבר היחיד שהתלבטתי זה אם לפצל לעמודים או לא בגלל הבעיה הנ"ל.. השאר זה תורה מסיני בשבילי..

ידידי, מה שאינך מבין, הוא, שאין חיפוש בכל המיליונים. בשביל זה יש INDEX!

בפרש יש טבלאות עם מליוני שורות, ושליפת שורה משם לוקחת משהו כמו 0.01 שנייה...

אתה לא תמצא בדיון קטן בפורום משהו שיותר טוב ממשהו שיש עליו הסכמה כללית בתעשייה כבר לפחות שני עשורים: נירמול+אינדקסים היא דרך אחזור המידע המהירה ביותר.

נמאס לכם לזכור סיסמאות? לחצו כאן!

טוב עזוב.. שכנעת אותי..
זה מה שהחלטתי לעשות:
טבלת משתמשים(מזהה_שולח,שם_שולח,סיסמה)
טבלת פורומים(מספר_פורום,שם_פורום)
טבלת אשכול_לפורום(מספר_פורום,מספר_אשכול,שם_אשכול)
טבלת הודעות_לאשכול(מספר_אשכול,מספר_הודעה,טקסט_הודעה,תאר יך_שליחה,מזהה_שולח,מזהה_הורה)

*כאשר מזהה_הורה זה ההודעה שאליה ההודעה הנוכחית הגיבה
*את הPAGING אעשה בבנייה עצמה של האתר ולא בDATA BASE עצמו

אתה יכול בבקשה רק להסביר לי את הקטע עם הטבלת ארכיון? מה אני בעצם עושה? ברגע שיש לי נגיד 100 הודעות ואני כותב הודעה חדשה אז אני מעביר את ההודעה הישנה ביותר לארכיון ואז מוסיף את ההודעה החדשה במקומה?

אתה נותן לכל פורום נניח 5 עמודים שישלפו מהטבלה הראשית, עכשיו נניח יש בעמוד 30 הודעות, 30 כפול 5 זה 150, אז כל פעם שאתה מגיע ל- 180 הודעות, אתה מעביר 30 הודעות לארכיון (אתה עושה את הבדיקה כשמוסיפים הודעות, ואת השליפה אתה בודק, עם הגעת לעמוד שגדול מ-5 אתה שולף את השאילתה עם NETRUAL JOIN

וזהו..