יש לי קובץ נתונים עם 3 עמודות (עמודה 3 = תאריך של הנתון):

111.111.111.111 111.111.111.111 280816
222.222.222.222 111.111.111.112 280816
333.333.333.333 111.111.111.113 280816
444.444.444.444 111.111.111.114 280816

אני מקבל קובץ חדש (עם תאריך עדכני יותר):
555.555.555.555 111.111.111.111 290816
333.333.333.333 333.333.333.333 290816
444.444.444.444 111.111.111.114 290816

בין עמודות 1 ל-2 ישנו קשר חד-חד-ערכי.

אני צריך למזג את הנתונים כך שהנתונים החדשים יהיו בקובץ החדש
ונתונים שאינם קיימים בקובץ החדש, ילקחו מהקובץ הישן (ובעצם זה עדכון בסיס נתונים).

תוצאה סופית:
555.555.555.555 111.111.111.111 290816
333.333.333.333 333.333.333.333 290816
444.444.444.444 111.111.111.114 290816
222.222.222.222 111.111.111.112 280816


יש לי כמה רעיונות ראשוניים בראש אך הם נראים לי מסורבלים.
יש למישהו רעיון פשוט?

לא אמרת באיזו שפה, אז באופן כללי

1. אני לא מבין מה המפתח שלך, אם הימני - חסרה לך שורה (111.111.111.111) ואם השמאלי חסר לך 111.111.111.113
2. אם אתה מדבר על תהליך של "עדכון בסיס נתונים" אתה לא הולך מהחדש לישן אלא להיפך, כי תמיד צריכה להיות לך האופציה שיכנסו עוד נתונים חדשים ואתה לא רוצה "להשלים" נתונים מהעבר

אחרי שסגרנו את הפינה הזו, הפתרון הכי מתאים הוא שימוש ב dictionary (אם ,net) או map (אם java) שם אתה יכול ליצור "מערך" אשר המפתח שלו הוא אובייקט גנרי (מספר, מחרוזת) והערך שלו הוא אובייקט שיכיל את ה"נתון" + תאריך עדכון.
לאחר מכן העדכון יהיה משהו בסגנון (ב.net)

קוד:

 if (data[key].value.updateDate <= newData.updateDate)
    data[key] = value;

אני מאמין שזה פשוט מספיק

האם סדר השורות בקובץ משנה? או שמה שחשוב הוא עדכניות הנתונים בהתאם לסדר הקריאה של הקבצים שאותם ממזגים? (שהרי הקשר הוא ממילא חח"ע, על פניו סדר האחסון בקובץ לא אמור לשנות)

אם הסדר לא משנה, הפתרון הטריוויאלי:

קוד PHP:

<?php

$files_to_merge = array('b1.txt', 'b2.txt');
$key_column_id = 1; # set this to the ordinal location of the key which gets updated
$out = array();

foreach($files_to_merge as $file) {
        $in = file_get_contents($file);
        if (!$in) {
                echo "Error opening/reading $file (or file is empty). Aborting!\n";
                exit(1);
        }
        foreach(explode("\n", $in) as $line) {
                $line = trim($line);
                if (strlen($line)) {
                        $splitted = explode(' ', $line);
                        $out[$splitted[$key_column_id-1]] = $line;
                }
        }
}

echo "Merged file:\n\n";

echo implode("\n", $out);

echo "\n";
?>

(אגב, אפשר לתת רשימה של מספר לא מוגבל של קבצים...)

אם אתה בהכרח רוצה להתחיל דווקא מהאחרון ולהכניס לתוכו שורות נוספות שהמפתח החח"ע שלהן לא היה קודם (ואז בעצם המיון יהיה לפי סדר ההופעה בטעינת הקבצים מהמעודכן ביותר לישן ביותר), אפשר כך:

קוד PHP:

<?php

$files_to_merge = array('b1.txt', 'b2.txt');
$key_column_id = 1; # set this to the ordinal location of the key which gets updated
$out = array();

$files_to_merge = array_reverse($files_to_merge);

foreach($files_to_merge as $file) {
        $in = file_get_contents($file);
        if (!$in) {
                echo "Error opening/reading $file (or file is empty). Aborting!\n";
                exit(1);
        }
        foreach(explode("\n", $in) as $line) {
                $line = trim($line);
                if (strlen($line)) {
                        $splitted = explode(' ', $line);
                        if (!array_key_exists($splitted[$key_column_id-1], $out)) {
                                $out[$splitted[$key_column_id-1]] = $line;
                        }
                }
        }
}

echo "Merged file:\n\n";

echo implode("\n", $out);

echo "\n";
?>

בתקווה שהבנתי את הדרישות שלך נכון...

נמאס לכם לזכור סיסמאות? לחצו כאן!

מדובר בקובץ טקסט ובמערכת הפעלה לינוקס (bash)
בכל יום אני מקבל קובץ עם נתונים עדכניים.
כל השורות בקובץ החדש הם נכונות ועדכניות.

אני צריך לשלוף מהקובץ הישן שורות שלא קיימות בקובץ החדש אבל...
כמו שכבר אמרתי, ישנו קשר חד-חד-ערכי בין עמודה1 לעמודה2

כך שאם הקובץ הישן מכיל את השורה הבא:
111.111.111.111 111.111.111.111 280816
והקובץ החדש מכיל את השורה הבא:
555.555.555.555 111.111.111.111 290816
אז זה אומר שהנתון התעדכן ואין להשתמש יותר בשורה הישנה אלא רק בחדשה.

מקווה שהפעם הייתי ברור יותר.
תודה רבה!

והקוד שצרפתי למעלה לא עושה את מה שכתבת אלא משהו אחר?

אם תחזור על מה שאמרת אחרי שלא הבינו אותך ולא תסביר איפה הטעות, כנראה שימשיכו לא להבין אותך. אני באופן אישי חזרתי וקראתי כמה פעמים את ההודעה המקורית. אגב, אם מחביאים את הנתונים האמיתיים (ובכך מחביאים בעיות פוטנציאליות) כדאי תמיד להשתמש בנתוני דמה שיסבירו מה הנתון הראשון ומה השני (ובטח לא להשתמש במחרוזות מאותו סוג בדיוק) - עובדה שכל מי שענה לך עד עכשיו לא הבין מי הראשון ומי השני ומי המפתח. אם בכלל יש מפתח. בסוף עוד תגיד שאלו סתם זוג ערכים ושניהם בעצם חח"ע בכל המידע.

bash זה לא לינוקס, זה shell. שקיים בהרבה מערכות הפעלה (אפילו חלונות). אם כוונתך שאתה רוצה ששפת התכנות תהיה bash - אפשר לעשות את זה גם שם, אתה יכול להשתמש באלגוריתם כדי לכתוב קוד דומה (אבל לדעתי תמיד כדאי להשתמש בכלי שמבצע משימה בצורה פשוטה יותר ואולי אפילו מהירה יותר בגלל אי הצורך לבצע fork עבור כל פעולה שבשפות אחרות מובנית ולא ידרשו context switching - בייחוד אם עובדים על קבצים גדולים)

נמאס לכם לזכור סיסמאות? לחצו כאן!

שימי, מדובר בקבצי טקסט פשוטים.
כל שורה מכילה 3 שדות.
שני השדות הראשונים הם כתובות רשת
והשדה השלישי הוא תאריך שבו התקבל הנתון.

הסקריפט שאוסף את כל הנתונים האלו רץ על גבי מערכת הפעלה לינוקס וכתוב ב-bash.

אני רוצה לדעת על כל צמד כתובות חדש שמתקבל
וכמובן אם מדובר בכתובת שקיימת מתאריך קודם אז יש לעדכן את השורה ולא להוסיף קשר חדש (כבר הזכרתי קודם שהקשר הוא חד-חד-ערכי).
חשבתי לבצע זאת גם ע"י bash (שימוש ב-awk ולולאה).
אני עדיין לא סגור על זה.
אתה מציע לי להשתמש דווקא ב-php? יש לזה סיבה? ייתרון/חסרון?
בנוסף, אתה יכול להסביר את הפתרון שלך? (אני לא מכיר php).
תודה.

ושוב לא כתבת מי הכתובת שהיא המפתח שברגע שהוא חוזר - מעדכנים את הכתובת השנייה. או שמא שזה לשני הכיוונים - כלומר כל אחת משתי הכתובות בהגדרה ייחודית בפלט הסופי... מה שבעצם אומר פתרון המבוסס על שני מפתחות (ואז יש שאלה נוספת: האם סדר ההופעה שלהן בשורה משנה?)

אני לא יודע למה, אבל זה נשמע כאילו הכלי שלך עושה משהו דומה ל arpwatch...

אני לא מציע לך שפה, אני מציע לך אלגוריתם, ו PHP היא השפה הכי קלה (וקריאה) שאני מכיר בשביל להדגים דברים כאלה - ויסלחו לי כל סוגדי הפיית'ון באשר הם.

אם אתה רוצה לממש את זה ב bash ואתה יודע איך לנצל את התכונות שבהן השתמשתי בקוד, אתה בהחלט יכול לעשות זאת. כשאני מתחיל להתעסק עם map-ים למיניהם, אני בד"כ זונח את bash לטובת שפה "ידידותית יותר למשתמש"... אני משער שתמיד אפשר לכתוב את זה איכשהו עם awk (אולי אפילו רק עם awk), אבל אם את PHP לא הבנת, הסיכוי שתבין קוד awk שעושה את אותו דבר - כנראה נמוך יותר... אא"כ זה סתם awk בסיסי שאתה הולך להריץ אותו פעם עבור כל שורה (מה עם המעבד?)

אם אתה צריך הסבר לקוד (למרות שלדעתי הוא מאוד פשוט וניתן להבנה אפילו אם אינך מכיר את השפה), בוא קודם כל ניסגר על האם הקוד עונה לדרישות שלך שהן עדיין לא מובנות לי עד הסוף, מסתבר.

נמאס לכם לזכור סיסמאות? לחצו כאן!

שימי, בעיקרון אין מפתח והוא לשני הכיוונים אבל...
אני חושב שאני יכול להשתמש בעמודה1 כמפתח.

מה דעתך שאמזג בין 2 הקבצים:
cat OLD NEW > BOTH

ואז אבצע מיון (sort).

ובחלק האחרון אבדוק אם יש שורה שהנתונים בעמודה1 ובעמודה2 זהים
ואשתמש רק בעמודה החדשה יותר (לפי התאריך שבעמודה3).
לשם נוחות במיון, קבעתי את התאריך לפורמט הבא yymmdd (אם זה עוזר במשהו).

בשביל החלק האחרון אצטרך כמובן להיעזר בך או במישהו מהפורום פה :-)

אולי זה לא כל כך אלגנטי אבל זה פשוט בשבילי להבנה ולשימוש חוזר במקרים אחרים.
יש לציין שכל קובץ מכיל כ-10000 שורות ויש לבצע את הנ"ל רק פעם אחת ביום כך שאני לא חושב שיש כאן שיקולי כוח וזמן חישוב.
אני טועה? מה דעתך?

נ.ב.
לא מדובר ב-arpwatch אבל אכן זה דומה (שני כתובות רשת).

אם תשתמש רק בעמודה אחת כמפתח ואתה מצפה לערכים חד חד ערכיים באמת, אז שינוי שחל בעמודה הראשונה לעומת אי שינוי בשנייה יגרום לכך שיהיה לך נתון "חדש" (אתה מסתכל רק על הראשונה) שמולו ירשם הנתון הישן של העמודה השנייה, ואתה מוצא את עצמך עם שתי שורות שמכילות את אותו ערך בעמודה 2 שזה מה שאני מבין עכשיו שאינך רוצה.

אני טועה?

וכן, אם זה רץ פעם ביום זה לא נורא מבחינה חישובית. אבל בעיני זה לא תירוץ להתרגל לכתוב קוד לא טוב. אחרי זה אתה מוצא את עצמך במערכת שכמה עשרות מתכנתים עשו בה את אותה הנחה, שעובדת קבוע ב load average גבוה, כי כל אחד עושה רק קצת.

נמאס לכם לזכור סיסמאות? לחצו כאן!

תיאורטית אתה צודק אבל חשבתי על זה עוד קצת ובמקרה שלי לא יקרה דבר כזה.

אז להשתמש ב-php שהמלצת קודם או ב-bash הפשוט בשבילי.
ובכל מקרה, אתה יכול גם לעזור לי לבצע זאת עם bash?
גם אם אשתמש ב-php, לפחות למדתי עוד משהו ב-bash.
תודה.

ובכן, אם הדרישה למפתח בודד, הקוד שכתבתי לעיל אמור לעבוד. אבל שים לב שהתעלמתי מהתאריכים שלך לגמרי - מה שקובע אצלי זה הסדר של הקבצים שציינת, מהישן לחדש.

ב bash אני צריך לחשוב איך לממש את זה...

נמאס לכם לזכור סיסמאות? לחצו כאן!

קוד PHP:

 type Thing = { time: DateTime; data1:string data; data2:string}

let x: list<Thing> = List.Empty

let result = x 
    |> groupBy ( fun elem -> elem.data1)
    |> map (fun elem -> elem |> sortBy (fun a -> a.time))
    |> map Seq.head

result 


אני לא מכיר php ואשמח להבין לפני שאני מיישם זאת.
תודה.

זה לא קוד PHP. הוא סתם עטף אותו בתג PHP כדי שזה יצבע לו את זה יפה...

נמאס לכם לזכור סיסמאות? לחצו כאן!

זה קוד f#
סתם התחשק לי לכתוב פתרון בלי חפירות...
השורה הראשונה מגדירה טיפוס נתונים שיש בו תאריך ושתי מחרוזות לנתונים.

השורה השנייה מאתחלת רשימה ריקה מהטיפוס שהגדרתי - הגיוני שבמקומה תהיה פונקציה שקוראת מקובץ. זה עוד איזה 3 שורות.

אח"כ אני מגדיר ערך שיחזיק את התוצאה.
אני לוקח את הרשימה הריקה שהגדרנו.
מקבץ אותה לפי הנתון הראשון (זה יתן רשימה של רשימות). לפי ההסבר שלך אתה צריך לקבץ לפי שניהם.
אני ממיין את התת רשימות לפי תאריך.
אני לוקח מכל תת רשימה את הראשון (הכי חדש)

ובסוף אני מחזיר את התוצאה - פה כנראה צריך לכתוב לקובץ.

הערה על יעילות...
הוא לא באמת רץ כמו שתיארתי, אלא בונה projection ומריץ אותו רק כשקוראים את התוצאה...