एआय मॉडेल कॉम्प्रेशन: अत्याधुनिक एआय मॉडेलला प्रशिक्षण देणे ही एक गोष्ट आहे. ते कुठेतरी उपयोगी पडणे ही पूर्णपणे दुसरी समस्या आहे. 175 अब्ज पॅरामीटर्स असलेले मॉडेल 350 गीगाबाइट्स स्टोरेजची मागणी करू शकते, कोणीही त्याला एक शब्द तयार करण्यास सांगण्यापूर्वी, आणि त्या वास्तविकतेने विशिष्ट ऑप्टिमायझेशनमधून मॉडेल कॉम्प्रेशनला AI विकासाच्या मुख्य विषयात ढकलले आहे.
तीन तंत्रे या क्षेत्रात वर्चस्व गाजवतात: परिमाणीकरण, ज्ञान ऊर्धपातन आणि छाटणी. प्रत्येक वेगवेगळ्या आकाराच्या समस्येवर हल्ला करतो. प्रत्येकाचे स्वतःचे ट्रेड-ऑफ असतात. आणि त्यांच्यातील निवड, किंवा त्यांना एकत्र करण्याचा निर्णय, आपल्याला संकुचित मॉडेलची काय आवश्यकता आहे यावर पूर्णपणे अवलंबून असते.
परिमाणीकरण म्हणजे काय आणि ते तैनातीसाठी का महत्त्वाचे आहे?
परिमाणीकरण मॉडेलचे पॅरामीटर्स संचयित करण्यासाठी वापरलेली संख्यात्मक अचूकता कमी करून कार्य करते. जेथे मानक नेटवर्क प्रत्येक वजन 32-बिट फ्लोटिंग-पॉइंट मूल्य म्हणून ठेवू शकते, क्वांटायझेशन त्या वजनांना 8-बिट पूर्णांक म्हणून किंवा अधिक आक्रमक सेटअपमध्ये, 4-बिट स्वरूपन म्हणून पुन्हा लिहिते.
32-बिट मॉडेलचे 8-बिटवर आकुंचन केल्याने त्याचे फूटप्रिंट अंदाजे एक-चतुर्थांश कमी होते. ते 4-बिट पर्यंत खाली ढकला आणि मॉडेल मूळच्या सुमारे एक अष्टमांश व्यापते.
मेमरी मागणी कमी होते, आणि अनुमानाचा वेग हार्डवेअरवर चढतो जो अन्यथा मेमरीमध्ये पूर्ण-परिशुद्धता आवृत्ती ठेवण्यासाठी संघर्ष करेल. सममितीय योजना स्केल वापरतात; असममित मध्ये दोन्ही समाविष्ट आहेत.
प्रति-चॅनेल स्केलिंग अचूकतेचे चांगले संरक्षण करते. प्रशिक्षणानंतरचे परिमाणीकरण प्रशिक्षणानंतर कॉम्प्रेशन लागू करते.
परिमाणीकरण-जागरूक प्रशिक्षण प्रशिक्षणादरम्यान कॉम्प्रेशनचे अनुकरण करते. जेम्मा ४ QAT चेकपॉईंट्स मोबाइल उपकरणांसाठी एक गिगाबाइटच्या खाली साध्य करून, समान कॉम्प्रेशन स्तरांवर मानक-प्रशिक्षण परिमाणीकरणापेक्षा जास्त कामगिरी करतात हे दाखवून दिले.
नॉलेज डिस्टिलेशन: लहान मॉडेल्सना मोठ्यांप्रमाणे विचार करायला शिकवणे
नॉलेज डिस्टिलेशन एका लहान विद्यार्थ्याला प्रशिक्षित करते जे फक्त कठोर ग्राउंड-ट्रुथ लेबल्सऐवजी सॉफ्ट लेबले वापरून मोठ्या शिक्षक मॉडेलचे अनुकरण करते. जेफ्री हिंटन आणि सहकाऱ्यांनी 2015 मध्ये हे तंत्र औपचारिक केले. शिक्षक-विद्यार्थी फ्रेमवर्कमध्ये म्युच्युअल लर्निंग आणि सेल्फ-डिस्टिलेशन सारख्या प्रकारांचा समावेश आहे.
सततच्या आव्हानामध्ये क्षमतेतील अंतर समाविष्ट असते आणि जर विद्यार्थी मॉडेल शिक्षकाच्या तुलनेत खूपच लहान असेल, तर ते शिक्षकाच्या भविष्यसूचक वितरणाशी जुळण्यासाठी संघर्ष करू शकते. संशोधनात असे आढळून आले की शिक्षक आणि विद्यार्थ्यांच्या अंदाजांमध्ये आश्चर्यकारकपणे मोठी तफावत राहते, ज्यामुळे ऊर्धपातन नेहमीच समतुल्य-परंतु-छोटी मॉडेल्स तयार करते या साध्या कथनाला गुंतागुंती करते.
ऑप्टिमायझेशन अडचणी आणि डेटासेट वैशिष्ट्ये या दोन्हींचा विद्यार्थी शिक्षकाची किती जवळून नक्कल करू शकतो यावर प्रभाव टाकतात. हा शोध साध्या कथनाला गुंतागुंतीचा बनवतो की डिस्टिलेशन नेहमीच समतुल्य-पण-लहान मॉडेल तयार करते.
हे नीटनेटके वर्णन गुंतागुंतीचे करते की डिस्टिलेशन विश्वसनीयरित्या समतुल्य-पण-लहान मॉडेल्स देते. डेटासेटची वैशिष्ट्ये महत्त्वाची असतात आणि प्रशिक्षणादरम्यान ऑप्टिमायझेशनच्या अडचणी येतात. मिमिक्री, असे दिसून येते की, सिद्धांताने सुचवलेल्या पेक्षा अभियंता करणे कठीण आहे.
रोपांची छाटणी: मॉडेलला काय आवश्यक नाही ते काढून टाकणे
पॅरामीटर्स आणि स्ट्रक्चरल घटक जे मॉडेलच्या आउटपुटमध्ये थोडे योगदान देतात ते बऱ्याचदा सरळ काढून टाकले जाऊ शकतात. ही छाटणी आहे, आणि त्याची मुळे 1989 पर्यंत पसरली आहेत, जेव्हा संशोधकांनी दुसऱ्या-व्युत्पन्न माहितीकडे झुकले आणि निर्मूलनासाठी सुरक्षित वजनाचे ध्वजांकन केले.
आधुनिक छाटणी दोन वर्गांमध्ये विभागली जाते. असंरचित छाटणी वैयक्तिक वजन काढून टाकते, विरळ मॅट्रिक्स तयार करतात. कॉम्प्रेशन क्षमता जास्त आहे — एका सुरुवातीच्या अभ्यासाने अचूकता कमी न करता 13-पट पॅरामीटर कमी केली, परंतु पकड हार्डवेअर आहे.
संरचित छाटणी संपूर्ण फिल्टर, चॅनेल किंवा स्तर काढून टाकते. कॉम्प्रेशन रेशो हे असंरचित पद्धतींपेक्षा कमी असते, परंतु परिणामी मॉडेल्स मानक हार्डवेअरवर कार्यक्षमतेने चालतात. Moondream, एक व्हिजन-लँग्वेज मॉडेल, 2-बिलियन-पॅरामीटर मॉडेल 0.5 बिलियन पॅरामीटर्सपर्यंत कमी करण्यासाठी क्वांटायझेशन-जागरूक प्रशिक्षणासह संरचित छाटणी वापरली आणि लक्ष्य कार्यांमध्ये अचूकता राखली.
2019 मध्ये प्रकाशित झालेल्या लॉटरी तिकीट गृहीतकाने असे सुचवले आहे की दाट नेटवर्कमध्ये लहान सबनेटवर्क असतात — “विनिंग तिकिट” — जे अलगावमध्ये प्रशिक्षित केल्यावर मूळ कामगिरीशी जुळू शकतात.
तुमच्या उपयोजनासाठी कोणते कॉम्प्रेशन तंत्र उत्तम काम करते?
| तंत्र | ठराविक कॉम्प्रेशन | अचूकता प्रभाव | हार्डवेअर आवश्यकता |
|---|---|---|---|
| परिमाणीकरण (8-बिट) | ~4x वि FP32 | बहुतेक कार्यांसाठी किमान | व्यापक समर्थन; int8 कर्नल मोठ्या प्रमाणावर उपलब्ध आहेत |
| परिमाणीकरण (4-बिट) | ~8x वि FP32 | मध्यम; वास्तुशास्त्रानुसार बदलते | विशेष कर्नल आवश्यक आहेत |
| ज्ञान ऊर्ध्वपातन | लवचिक; विद्यार्थी आकारावर अवलंबून आहे | क्षमता अंतर आणि प्रशिक्षण यावर अवलंबून असते | मानक हार्डवेअर एकदा प्रशिक्षित |
| असंरचित छाटणी | 10x+ पर्यंत | पुन्हा प्रशिक्षित केल्यास कमी | विशेष विरळ लायब्ररी आवश्यक |
| संरचित छाटणी | 2-8x | मध्यम; कार्यावर अवलंबून | मानक हार्डवेअर चांगले कार्य करते |
ही तंत्रे अनेकदा एकत्र होतात. Moondream ने प्रथम संरचित छाटणी लागू केली, नंतर अचूकता पुनर्प्राप्त करण्यासाठी मोठ्या मॉडेलमधून ज्ञान ऊर्धपातन वापरले आणि शेवटी तैनातीसाठी परिमाणीकरण लागू केले. Google चे मोबाईल जेम्मा चेकपॉईंट्स अशाच प्रकारे स्टॅक तंत्रे.
विकासकांनी अभ्यासात छाटणीपेक्षा परिमाणीकरणामध्ये सामान्यत: कमी नकारात्मक बाजू कशी असते यावर चर्चा केली आहे, अंशतः कारण छाटणीचे सैद्धांतिक विलक्षण लाभ नेहमीच वास्तविक गती सुधारणा म्हणून साकार होत नाहीत.
एकाने असा युक्तिवाद केला की मोठ्या मॉडेल्सचे मॅन्युअल क्वांटायझेशन अस्सल पायाभूत सुविधांचे मूल्य दर्शवते, llama.cpp वापरून 22.7 GB बेसलाइनवरून 7.02 GB आर्टिफॅक्टपर्यंत VRAM ची 69% घट लक्षात घेऊन. अलीकडील AI अनुमान विकास हे देखील दर्शविते की तैनाती कार्यक्षमता सुधारण्यासाठी इतर तंत्रांसोबत परिमाणीकरण कसे कार्य करू शकते.
ट्रेड-ऑफ कोणीही पुरेशी बोलत नाही
कॉम्प्रेशनमध्ये नेहमी वाटाघाटी समाविष्ट असतात. कोणता त्याग करण्यास तयार आहे हा प्रश्न आहे.
4-बिटवर क्वांटायझेशन डीकोडर-ओन्ली ट्रान्सफॉर्मर आर्किटेक्चर्सवर अचूकता प्रतिगमन सादर करू शकते, जरी एन्कोडर-केवळ मॉडेल कमीतकमी नुकसानासह समान कॉम्प्रेशन हाताळतात. मॉडेल कुटुंबांमधील भिन्नता ब्लँकेट शिफारसी अविश्वसनीय बनवते.
पुनरावृत्तीच्या छाटणीसाठी ट्रेन-प्रुन-रिट्रेन सायकलची पुनरावृत्ती आवश्यक असते, ज्यामुळे प्रशिक्षणोत्तर गणना खर्चाची भर पडते. हार्डवेअर सुसंगतता समस्या देखील कायम राहते — छाटणी केलेले मॉडेल डिस्कवर लहान असू शकते परंतु उपयोजन लक्ष्यामध्ये विरळ ऑपरेशन समर्थन नसल्यास व्यवहारात वेगवान नाही.
नॉलेज डिस्टिलेशनसाठी सक्षम शिक्षक मॉडेलमध्ये प्रवेशाची आवश्यकता असते आणि विशेषत: उपयोजन डोमेनच्या प्रशिक्षण डेटा प्रतिनिधीची आवश्यकता असते. या पूर्वतयारींशिवाय, विद्यार्थ्याला त्याची योग्यता न मिळवता शिक्षकांच्या पूर्वाग्रहांचा वारसा मिळू शकतो. त्यामुळे लहान विद्यार्थी मॉडेल तयार करताना प्रतिनिधी AI प्रशिक्षण डेटा तयार करणे हा महत्त्वाचा विचार आहे.
आपले मॉडेल संकुचित करण्यापूर्वी काय विचारात घ्यावे
तुम्ही कशाला अधिक महत्त्व देता – सुविधा किंवा नियंत्रण यावर निर्णय येतो. प्रशिक्षणोत्तर परिमाणीकरण कमीतकमी अभियांत्रिकी प्रयत्नांसह लहान मॉडेलसाठी जलद मार्ग प्रदान करते. प्रशिक्षणोत्तर परिमाणीकरण कमीतकमी अभियांत्रिकी प्रयत्नांसह लहान मॉडेलसाठी जलद मार्ग प्रदान करते. फक्त कॅलिब्रेशन डेटासेट आणि Keras किंवा llama.cpp सारख्या समर्थित फ्रेमवर्कमध्ये प्रवेशाची मागणी करते.
अधिक नियोजन नॉलेज डिस्टिलेशनमध्ये जाते, जरी मोबदला हे विशिष्ट कार्यासाठी तयार केलेले मॉडेल असू शकते. जेव्हा तुमच्या उपयोजन परिस्थितीमध्ये अरुंद डोमेनचा समावेश असतो, तेव्हा डिस्टिलेशन एक लहान मॉडेल मिळवू शकते जे समान आकाराच्या सामान्यपणे संकुचित आवृत्तीपेक्षा जास्त कामगिरी करते.
जेव्हा आपल्याला पॅरामीटर्सची संख्या कमी करताना मूळ आर्किटेक्चरची रचना राखण्याची आवश्यकता असते तेव्हा रोपांची छाटणी सर्वात अर्थपूर्ण ठरते.
लक्ष कॅशेसाठी FP4 क्वांटायझेशनने समर्थित हार्डवेअरवर उप-1% अचूकता नुकसानासह उत्पादन व्यवहार्यता दर्शविली आहे.
कागदावर काय शक्य आहे आणि उत्पादनात काय कार्य करते यातील अंतर पुरेसे आहे. विशिष्ट कॉम्प्रेशन पाइपलाइन अभियांत्रिकी गुंतवणुकीला न्याय्य ठरते की नाही हे पूर्णपणे तुमच्या मर्यादांवर, तुमचे हार्डवेअर आणि कार्यक्षमतेसाठी व्यापार करण्यासाठी तुम्ही किती अचूकता घेऊ शकता यावर अवलंबून असते. प्रोडक्शन एआय ऑपरेशन्स टीम्सना मॉडेल वर्तनाचे मूल्यांकन करण्यात आणि तैनातीनंतर विश्वासार्हता राखण्यात मदत करू शकतात.
(स्त्रोत)
Comments are closed.