שלום
יש לי מקרה שאני צריך להכניס כמות די גדולה של נתונים מקובץ CSV (בערך 65M רשומות כרגע, ויכול להיות עוד יותר)
מה שאני עושה היום זה כך:
1. אני מכניס את הנתונים לטבלה זמנית בעזרת BULK INSERT
2. מפיל את האינדקסים של טבלת היעד
3. מעתיק את הנתונים מהטבלה הזמנית לטבלת היעד (בדרך התונים עוברים כל מיני מניפולציות, כמו הכפלות, הפעלת פונקציות שכתבתי וכדומה) עם INSERT INTO...SELECT
4. מפיל את הטבלה הזמנית
5. בונה את האינדקסים מחדש

יש לכם עצה איך ניתן לשפר את זה? היום לוקח לזה לרוץ בערך שעה ועשרים

תודה

תאורטית אי אפשר לשפר משמעותית את זמן הריצה.

הרי יש לך 65MB של מידע שצריך להיכנס למס הנתונים שלך. כיוון שגודל המידע ענק, זה חייב ואמור לקחת הרבה זמן.

טכנית, יכול להיות שהשאילתא שלך ואופן הכנסת המידע מתבצע בצורה לא הכי יעילה.
שמתי לב שביטלת את האינדקסים של טבלת היעד, וזה אכן אחד הצעדים כדי לשפר את זמן הריצה.
אני משתמש ב-MYSQL, ולא יודע עד כמה MSSQL ו-MYSQL דומים, אבל תוכל להיעזר בדוקומנטציה של MYSQL לשיפור השאילתות שלך: http://dev.mysql.com/doc


ד"א אני לא יודע מה זה קובץ CSV ויכול להיות שתבחין בכך בתשובות שלי.

קובץ CSV הוא קובץ שבו יש נתונים המופרדים אחד מהשני בסימן הפסיק. CSV זה ר"ת של Comma Separated Values...

נמאס לכם לזכור סיסמאות? לחצו כאן!

אתה מבצע את כל ה insert-ים בטראנזקציה אחת ? (אם עושים זאת כך, זה גם מייתר את הצורך בהשמדת ויצירת האינדקסים, לדעתי...)

נמאס לכם לזכור סיסמאות? לחצו כאן!

אני מבצע את הINSERT בפעם אחת. זה בעצם INSERT INTO..SELECT.
מבדיקה אם אני לא הורס את האינדקס לפני ההכנסה, הסקריפט רץ הרבה יותר זמן.

החלק של ההכנסה של הנתונים מקובץ הCSV (קובץ שהערכים בו מופרדים בפסיקים) לטבלה הזמנית לוקח 7 דקות, אז שם לא צוואר הבקבוק (אחרי אופטימיזציות).
הבעיה היא רק במעבר של הנתונים מהטבלה הזמנית לטבלה הקבועה (שזה לוקח בערך שעה ועשרה ל65 מיליון רשומות)

אולי ראית את זה, אבל בכל אופן:
http://www.sqlhacks.com/index.php/O...-Vs-Bulk-Insert
[ מצאתי את זה כאן: http://www.sqlhacks.com/index.php/Optimize/Optimize ]

כיוון שאני מניח ש-MYSQL -וMSSQL דומים, וכן הפעולות של הכנסת מידע לטבלאות דומות, אז העמודים הבאים אולי יעזרו לך:
http://dev.mysql.com/doc/refman/5.0...sert-speed.html - תוכל לראות שהדרך היחידה לביצוע אופטימיזציה לשאילתא היא הסרת האינדקסים - מה שכבר עשית. כלומר שלא נותר הרבה לעשות חוץ מלייעל את השאילתא עצמה, ואני מניח שאין הרבה מה לייעל בה...
http://dev.mysql.com/doc/refman/5.0...erformance.html