שלום לכולם, אני רוצה לשאול כמה דברים מעניינים בנושא ביצועים עם MySQL.

יש לי טבלה ששוקלת כ-200MB (נכון להיום), ותהליך היבוא שלי אליה, זה על ידי שאני מוסיף קובץ TEXT, ששמה יש לי שורות ושורות.. ואני רק צריך לעבור עליו ולבדוק איזה רשומה קיימת, ואם לא, אז להוסיף אותה.

בהתחלה, שהטבלה הייתה קטנה, התהליך רץ חלק בלי בעיות.
עכשיו שהטבלה ענקית, זה פשוט בלתי אפשרי לעשות את היבוא הזה.. זה לוקח כמה שעות..

איזה פתרונות הייתם ממליצים לי?
אגב, יש שדות בטבלה שהם כפולות, אבל רק הם לא באותה קבוצה (groupid שונה).. ככה שלהשתמש ב-IGNORE מבלי לבדוק, זה לא מתאים כאן.

עריכה:
שחכתי לציין, בתאכלס, השדה העיקרי ששמה נכנס אליו הפרטים, זה רק שדה אחד שהוא "מחרוזת".. וכמובן, שאותה עשיתי לו אינדקס.

תודה רבה !

יקיר.
מילים לשירים חסידיים.

האינדקס הוא מה שאולי מאט אותך. עבור כל שורה הוא צריך לבדוק ולעדכן את האינדקס

אם אתה רוצה שהוא יבדוק, אתה חייב שהוא יבדוק. אם אתה לא רוצה שהוא יבדוק, אז תבטל את האינדקס לפני ההוספה ותחזיר אותו אחריה, או שתריץ את כל השאילתות באותה טראנזקציה... (מה שיעבוד רק אם אתה לא יוצר בשאילתא שגיאות שיגרמו ל rollback של הטראנזקציה...)

בכלל כל צורת העבודה שלך לא ברורה, איך הגעת למצב שאתה צריך להוסיף מידע ככה...

נמאס לכם לזכור סיסמאות? לחצו כאן!

לא כל כך הבנתי את ההסבר שלך, אבל לגבי צורת העבודה שלי, זה בגלל שיש לי המון רשומות שאני מיביא למערכת שלי (כל מיני מחרוזות קצרים).

איזה עוד דברים תרצה שאפרט?

יקיר.
מילים לשירים חסידיים.

בקיצור השיפור בביצועים יהיה על ידי הקטנת כמות ה INSERT-ים שאחריהם מופעל אוטומטית חישוב INDEX.

מה שלא הבנתי זה איך אתה מגיע למצב שאתה צריך (דרך קבע) ליבא נתונים שהם מראש חופפים וסותרים נתונים קיימים בטבלה שלך. זה נשמע מימוש מאוד מוזר למערכת

נמאס לכם לזכור סיסמאות? לחצו כאן!

אלו כל מיני מחרוזות שאני מייבא..
בהקשר לאינדקס שבאה אוטומתי אחרי ה-INSERT, איך אפשר לבטל את זה? ולא עדיף שיהיה לי כזה אינדקס בשביל לבדוק האם המייל הספציפי הזה קיים במאגר או לא?

יקיר.
מילים לשירים חסידיים.

למה זה נשמע כאילו אתה בונה רשימה של כתובות לשלוח אליהן ספאם?

כמו שאמרתי, אתה יכול לעשות את כל ההכנסה בטראנזקציה אחת, ולהשתמש ב INSERT IGNORE. זה יגרום לבנייה חוזרת של האינדקס באופן חד פעמי בלבד (כך נדמה לי...) - במקום עבור כל שורה ושורה. כמובן שבשביל זה אתה צריך טבלה ששמורה במנוע תומך טראנזקציות.

אפשרות אחרת היא להכניס את כל החדשים יחד עם כל הישנים אל טבלה אחרת (שאין בה אינדקס עם הגבלות), ואז (להוסיף לה אינדקס ו?)לעשות עליה SELECT DISTINCT כדי לקחת רק עותק אחד מכל שדה שונה, ואת כל הפלט של זה, לדחוף לטבלה חדשה, שתדרוס את הטבלה המקורית. מן הסתם שפתרון זה מסובך יותר וגם תלוי באפיון המערכת שלך (כמו למשל, האם זה בסדר שבזמן מסויים הטבלה לא תהיה זמינה...)

נמאס לכם לזכור סיסמאות? לחצו כאן!

כמו שציינתי בהתחלה, INSERT IGNORE לא טוב לי. מכיוון שאני כן צריך שיהיה לי כפולים אם יש לי WHERE לשדה שהוא לא קיים שמה.. (groupid שונה)

ואיך אני עושה טראנזקציה אחת? (אני משתמש ב-MyISAM, אבל אני חושש מלעדכן ל-InnoDB).

אשמח לקצת קוד להסבר יותר ברור.. אני פשוט מצטער.

יקיר.
מילים לשירים חסידיים.

אז תעשה אינדקס יוניקי על שני שדות ביחד, לא? (או שממש לא הבנתי אותך)

טראנזקציות בלי InnoDB במובן שיעזור לנו - אני לא בטוח עד כמה אפשר (אולי אם מכניסים מספר פסוקיות VALUES בשאילתא אחת?)

אבל עכשיו חשבתי על עוד אפשרות שאולי יכולה לעזור לך - INSERT DELAYED - ניסית? (בהנחה שאין לך צורך בעדכון זמן אמת, כי זה הרי סתם ייבוא של נתונים)

נמאס לכם לזכור סיסמאות? לחצו כאן!