सत्यापन से अंतर्दृष्टि: टेस्टबेंच प्रतिक्रिया के साथ पुनर्बलन अधिगम द्वारा एक वेरिलॉग जनरेशन LLM का प्रशिक्षण

बड़े भाषा मॉडल (LLMs) ने प्राकृतिक भाषा विवरण से वेरिलॉग जनरेशन में मजबूत प्रदर्शन दिखाया है। हालांकि, उत्पन्न कोड की कार्यात्मक शुद्धता सुनिश्चित करना एक महत्वपूर्ण चुनौती बना हुआ है। यह पेपर एक ऐसी विधि प्रस्तुत करता है जो टेस्टबेंच से सत्यापन अंतर्दृष्टि को वेरिलॉग जनरेशन LLMs के प्रशिक्षण में सम्मिलित करती है, जिससे प्रशिक्षण हार्डवेयर डिज़ाइन के मौलिक लक्ष्य के अनुरूप हो: कार्यात्मक शुद्धता। वेरिलॉग कोड जनरेशन के लिए LLMs का उपयोग करने में मुख्य बाधा पर्याप्त कार्यात्मक सत्यापन डेटा, विशेष रूप से डिज़ाइन विनिर्देशों और कोड के साथ जोड़े गए टेस्टबेंच की कमी है। इस समस्या का समाधान करने के लिए, हमने एक स्वचालित टेस्टबेंच जनरेशन पाइपलाइन प्रस्तुत की है जो प्रक्रिया को विखंडित करती है और वेरिलॉग कंपाइलर सिम्युलेटर (VCS) से प्रतिक्रिया का उपयोग करके भ्रम को कम करती है और शुद्धता सुनिश्चित करती है। इसके बाद हम टेस्टबेंच का उपयोग उत्पन्न कोड का मूल्यांकन करने और उन्हें आगे के प्रशिक्षण के लिए संग्रहित करने के लिए करते हैं, जहां सत्यापन अंतर्दृष्टि प्रस्तुत की जाती है। हमारी विधि पुनर्बलन अधिगम (RL), विशेष रूप से प्रत्यक्ष प्राथमिकता अनुकूलन (DPO) लागू करती है, ताकि टेस्टबेंच परिणामों के आधार पर प्राथमिकता युग्मों का प्रशिक्षण करके वेरिलॉग कोड जनरेशन को कार्यात्मक शुद्धता के साथ संरेखित किया जा सके। VerilogEval-Machine, VerilogEval-Human, RTLLM v1.1, RTLLM v2, और VerilogEval v2 पर मूल्यांकन में हमारा दृष्टिकोण लगातार सर्वश्रेष्ठ आधार रेखाओं को कार्यात्मक रूप से सही वेरिलॉग कोड उत्पन्न करने में पीछे छोड़ता है। हम सभी प्रशिक्षण कोड, डेटा, और मॉडल https://anonymous.4open.science/r/VeriPrefer-E88B पर खुला स्रोत करते हैं।