רק רציתי לעדכן אתכם, שהפתרון בא בסוף מהמטריצות.
הטעות שלי היתה שחיברתי את הנקודות של מערכת הצירים, ולא חיסרתי. שמתי לב לזה רק אחרי שהשתמשתי במטריצות...
המטריצה שהרכיבה את המשוואות היתה המטריצה המשוחלפת, של הכפל של המטריצות כאן:
http://en.wikipedia.org/wiki/3D_projection

ובקשר לפרספקטיבה זה היה הפתרון:




כאשר E זה "הקבוע של המצלמה" (תלוי בעדשה)
והחישוב מתבצע בעזרת משולשים דומים: (y' זה ה-Y של המצלמה)


ואותו דבר ל-X: (פשוט מסובבים את המערכת צירים בתמונה הנ"ל)




וכעת מציבים במטריצה. וכיוון שאנו יודעים שזה מלבן, מציבים Z''=0. ומוצאים את Z. ואז מציבים בשאר המטריצה ופותרים (ה-'' הם כדי לציין שזה המלבן המסובב.)
המטריצה באה לחשב את המלבן המקורי. ואם זה אכן יוצא מלבן, אז מצאנו אותו...

הדבר האחרון שעשיתי זה לבנות אלגוריתם שיחפש את הזוית. הוא פשוט מציב את הזוויות בדומה לחיפוש בינארי, רק שאני מחפש עם 3 נקודות. כדי שניתן יהיה להשוות מגמה....

תודה בכל מיקרה לכל מי שניסה לעזור!.
שנה טובה!