भागों से सम्पूर्ण तक: नियंत्रित मानव छवि निर्माण के लिए एक एकीकृत संदर्भ फ्रेमवर्क

नियंत्रित मानव छवि निर्माण में हाल के विकास ने संरचनात्मक संकेतों (जैसे, मुद्रा, गहराई) या चेहरे की उपस्थिति का उपयोग करके ज़ीरो-शॉट निर्माण को संभव किया है। फिर भी, मानव उपस्थिति के कई हिस्सों पर आधारित मानव छवियाँ उत्पन्न करना एक चुनौती बनी हुई है। इसे संबोधित करते हुए, हम प्रस्तुत करते हैं Parts2Whole, एक नया फ्रेमवर्क जो कई संदर्भ छवियों से अनुकूलित पोर्ट्रेट्स उत्पन्न करने के लिए डिज़ाइन किया गया है, जिसमें मुद्रा छवियाँ और मानव उपस्थिति के विभिन्न पहलू शामिल हैं। इसे प्राप्त करने के लिए, हम सबसे पहले एक सेमांटिक-संवेदनशील उपस्थिति एन्कोडर विकसित करते हैं जो विभिन्न मानव हिस्सों के विवरण बनाए रखता है, जो प्रत्येक छवि को इसके पाठ लेबल के आधार पर कई स्तरों के फीचर मैप्स की श्रृंखला में संसाधित करता है, न कि एक छवि टोकन में, जिससे छवि आयाम संरक्षित रहता है। दूसरा, हमारा फ्रेमवर्क संदर्भ और लक्षित फीचर्स के बीच साझा स्व-ध्यान तंत्र के माध्यम से बहु-छवि आधारित निर्माण का समर्थन करता है जो प्रसार प्रक्रिया के दौरान संचालित होता है। हम संदर्भ मानव छवियों से मास्क जानकारी को सम्मिलित करके वैनिला ध्यान तंत्र को बढ़ाते हैं, जिससे किसी भी हिस्से का सटीक चयन संभव होता है। व्यापक प्रयोगों से हमारे दृष्टिकोण की मौजूदा विकल्पों पर श्रेष्ठता सिद्ध होती है, जो बहु-भाग नियंत्रित मानव छवि अनुकूलन के लिए उन्नत क्षमताएँ प्रदान करता है। हमारे परियोजना पृष्ठ https://huanngzh.github.io/Parts2Whole/ देखें।