חוקרים באינטל פיתחו טכניקת אקסטרפולציה של פריימים המשפרת את העיבוד בזמן אמת על ידי יצירת פריימים חדשים מההיסטוריה של פריימים קודמים, עם חביון נמוך וניהול חסימה.
שיטות עיבוד תלת מימד מסורתיות כגון רסטר אואיתור קרניים, גם כשהם מואצים על ידי הדור האחרון של כרטיסים גרפיים, מגיעים כרגע לגבולות שלהם מול המורכבות ההולכת וגוברת של הסצנות שיוצגו והאפקטים החזותיים המתוחכמים יותר ויותר שנמצאים במשחקים האחרונים. תעשיית משחקי הווידאו מחפשת אפוא שיטות חדשות להציע חוויות נעימות וזורמות מתמיד, ומכאן הגעתם בשנים האחרונות של טכניקות המשתמשות בבינה מלאכותית, כשהרעיון העיקרי הואלִיצוֹראמִסגֶרֶתביניים משתי תמונות עוקבות; זה מה שהיצירת מסגרתשֶׁלאתה.
אבל לשיטות האינטרפולציה הללו יש חיסרון גדול: הן מוסיפות חביון. זו הסיבה שהם בדרך כלל משולבים עם טכניקות אחרות שנועדו לשמור על זמן חביון נמוך ככל האפשר, כגון. חוקרי אינטל הקשורים לאוניברסיטת קליפורניה בסנטה ברברה מציגים במאמר מחקר שיטה חלופית הנקראתGFFE(אקסטרפולציה של מסגרת חופשית של מאגר G), בהתבסס הפעם על אקסטרפולציה ולא בהקדמהמִלְכַתְחִילָהללא חביון נוסף.
קרא גם:
GFFE: תמונות אקסטראפולציה במקום אינטרפולציה
אינטרפולציה קלאסית משתמשת באלגוריתמי למידה עמוקה הדורשים גם נתונים נוכחים במסגרות בעבר וגם בעתיד. ל'אקסטרפולציהשֶׁלמסגרותמסנתז תמונות חדשות המבוססות אך ורק על ההיסטוריה של תמונות קודמות והמידע שלהן. לכן זה מאפשר להגדיל את קצב הפריימים הנתפס תוך הימנעות מהעיכובים המוכנסים על ידי שיטות האינטרפולציה DLSS או DLSS.. היעדר זמן חביון נוסף הוא יתרון מובהק ליישומים בזמן אמת כמו משחקים.
ניהול החסימות, כלומר אזורים המופיעים בתמונה הנוכחית אך הוסתרו בתמונות קודמות, כמו גם הערכה מדויקת של תנועת אובייקטים והצללה נותרו הבעיות העיקריות בהן נתקלות בשיטות אקסטרפולציה שלמסגרות. לכן, בנקודות אלה מתמקד המחקר הנוכחי: GFFE משתמש במספר טכניקות חדשניות כדי להתגבר על מכשולים אלה, תוך הבטחת תוצאות חזותיות באיכות גבוהה ושילוב קל במנועי עיבוד קיימים.
טפל בכל שלושת סוגי החסימות, ללא G-Buffer
THEחסימותיכולים להיות משלושה סוגים: כאלה מחוץ למסך המופיעים כשהמצלמה זזה וחושפת אזורים שלא נראו קודם לכן, חסימות סטטיות עקב עצמים נייחים החוסמים אלמנטים אחרים בסצנה וחסימות דינמיות הנגרמות מתנועת עצמים נעים. אזורים אלה שאינם נוכחים בתמונות הקודמות דורשים לכן מידע נוסף מאלגוריתמי האקסטרפולציה.
שיטות אקסטרפולציה מסורתיות משתמשות לעתים קרובות ב"מחצני G" להנחות את יצירת התמונות: זהו מידע גיאומטרי וחומרי הקשור לסצינה, כגון עומק, נורמליות ומרקמים. עם זאת, השימוש בהם עשוי להיות יקר מבחינת ביצועים וזיכרון, במיוחד במכשירים ניידים או בעת רינדור באמצעות צינורות ספציפיים.
ה-GFFE נבדל בדיוק ביכולתו לבצע אקסטרפולציה של מסגרות ללא צורךמחצני G, ומכאן שמו. במקום זאת, הוא משתמש בהיסטוריית פריימים קודמת כדי להעריך את תנועת האובייקט ולטפל בסוגי חסימה שונים. הפעולה של GFFE מבוססת על מסגרת היוריסטית חדשנית ורשת עצבית לניתוח התנועות של אלמנטים דינמיים בסצנה.
השיטה כוללת מספר חלקים: מודול הערכת תנועה העוקב אחר מסלולם של אלמנטים בחלל התלת-ממד ומעריך את מיקומם העתידי, מודול איסוף רקע השומר מידע על אזורים שהוסתרו במסגרות קודמות, מודול חלון רנדר אדפטיבי שמתאים את הרינדור אזור המבוסס על תנועות מצלמה, ורשת עצבית לתיקון הצללה המשפרת את העקביות החזותית.
GFFE: יישום וביצועים
ליתר דיוק, המסלול של כל אלמנט תמונה במרחב התלת-ממדי מחושב באופן רקורסיבי עבור כל תמונה מעובדת, באמצעות וקטורי התנועה ומטריצות ההקרנה של המצלמה. המיקום העתידי של כל אלמנט מוערך ממסלול העבר שלו, תוך שימוש בקירוב ליניארי. גישה זו מאפשרת הערכות תנועה סבירות תוך שמירה על חסכוני במשאבים.
כדי לטפל בחסימות, GFFE משתמש במערכת איסוף רקע השומרת על שכבות מרובות של מידע על אלמנטים נסתרים. שכבות אלו מתעדכנות בהתבסס על הפריימים המעובדים, והתוכן שלהן מוקרן על הפריימים החדשים כדי למלא אזורים שלא נראו במסגרות קודמות. חלון העיבוד האדפטיבי מנהל חסימות מחוץ למסך, על ידי הגדלה דינמית של אזור העיבוד בהתאם לתנועת המצלמה.
הרשת העצבית של תיקון הצללה משמשת לבסוף לשיפור האיכות החזותית של תמונות אקסטראפולציה, בפרט לתיקון צללים והשתקפויות שאולי לא עוקבים אחר אותם מסלולים כמו אובייקטים. רשת עצבים זו משתמשת במסכות מיקוד כדי למקד לאזורים הזקוקים לתיקון, ועוזרת לשמר פרטים חדים בשאר התמונה.
בפועל, התוצאות שהתקבלו דומות, או אפילו טובות יותר, מאלו של שיטות אינטרפולציה או אקסטרפולציה המבוססות עלמחצני G. GFFE בולט בחוסן וביכולת ההכללה שלו, כשהיא מסוגלת לספק תוצאות סבירות במגוון סצנות, גם כאלו שלא נעשה בהן שימוש במהלך האימון. והכי חשוב, GFFE יעיל יותר וקל יותר לשילוב במנועי רינדור תלת מימד בזמן אמת.
שיטה שעדיין לא מושלמת
עם זאת, שיטת GFFE אינה מושלמת ועדיין יש לה כמה מגבלות. לדוגמה, זה עלול להיכשל במקרה של חסימות שמעולם לא נראו בהיסטוריית הפריימים, או בנוכחות אפקטים חזותיים שאינם מבוססי עומק, כגון חלקיקים או ממשקי משחק. לפעמים יכולים להיות תיקוני הצללה והדגשה לא מושלם בגלל חוסר מידע מתמונות עתידיות.
העבודה הנוכחית של חוקרי אינטל עדיין מייצגת התקדמות משמעותית בתחום: הפתרון שלהם כבר יעיל בשיפור הביצועים הגרפיים מבלי לפגוע באיכות החזותית או - מעל לכל - הצגתחֶבִיוֹןנוֹסָף. מספיק כדי לפתוח נקודות מבט חדשות עבור יישומים ניידים,משחקי ענןובאופן כללי יותר פלטפורמות שבהן המשאבים מוגבלים או ספציפיים.
🔴 כדי לא לפספס שום חדשות מ-01net, עקבו אחרינוחדשות גוגלetוואטסאפ.
