अँड्रीसेन होरोविट्झचे समर्थन असलेले वॅल्स AI बेंचमार्किंगसाठी सुवर्ण मानक बनू पाहत आहेत

बेंचमार्किंग हे AI कंपन्या त्यांच्या मॉडेल्सच्या क्षमतांचे प्रमाणीकरण कसे करतात आणि जेव्हा मेट्रिक्स त्यांच्या बाजूने बदलतात तेव्हा प्रतिस्पर्ध्यांपासून वेगळे होतात आणि त्यांच्या श्रेष्ठतेची जाहिरात करतात यासाठी उद्योगाचा आदर्श बनला आहे. दुसऱ्या शब्दांत, चांगल्या बेंचमार्कचा अर्थ नेहमीच चांगला पीआर असतो.

दुर्दैवाने, कंपन्यांनी लेगसी बेंचमार्किंग सिस्टमला कसे मागे टाकायचे हे देखील शोधून काढले आहे — त्यापैकी बरेच जुने आहेतआणि आधुनिक मॉडेल्सच्या क्षमता मोजण्यासाठी तयार केलेले नाही.

Vals, एक स्टार्टअप 2024 मध्ये स्थापना केलीम्हणते की ही अत्यंत अपूर्ण प्रणाली दुरुस्त करण्याच्या मोहिमेवर आहे. दोन वर्षांपेक्षा कमी कालावधीत, कंपनीने टेक उद्योगात स्वत:ची उल्लेखनीय उपस्थिती म्हणून प्रस्थापित केले आहे आणि गेल्या वर्षी तिने 8VC आणि ब्लूमबर्ग बीटा यांच्या नेतृत्वाखाली सीड फेरी मिळवण्यात यश मिळवले आहे. त्यानंतर, गेल्या महिन्यात, वेगवान वाढीच्या कालावधीनंतर, ते $40 दशलक्ष जमा केले अँड्रीसेन हॉरोविट्झ यांच्या नेतृत्वाखालील मालिका A मध्ये.

रायन कृष्णन, कंपनीचे 25-वर्षीय सह-संस्थापक, पूर्वी पॅलांटीर येथे इंटर्नड होते आणि, स्टॅनफोर्ड येथे पदवीधर म्हणून, मायक्रोसॉफ्ट आणि शाळेच्या प्रशंसनीय कृत्रिम बुद्धिमत्ता प्रयोगशाळेसाठी काम केले. कृष्णन म्हणतात की बेंचमार्किंग हे मोजण्यासाठी तयार करण्यात आलेल्या उद्योगाच्या प्रगतीच्या मागे कसे पडत आहे याबद्दल वॅल्सचा जन्म त्यांच्या स्वत: च्या निरीक्षणातून झाला आहे.

“आम्ही पाहत होतो की नवीन, अतिशय सक्षम मॉडेल्सचा समूह पटकन बाजारात येतो आणि शैक्षणिक बेंचमार्क () त्या सीमावर्ती प्रगतीशी जुळत नव्हते,” कृष्णन शेअर करतात. AI समाजाच्या प्रत्येक भागामध्ये समाकलित केल्यामुळे, मॉडेल्स ते करू शकतात जे कंपन्या जाहिरात करतात ते करू शकतात हे सत्यापित करण्यासाठी बेंचमार्क खरोखरच अस्तित्वात असले पाहिजेत, कृष्णन म्हणाले.

गेल्या आठवड्यात, तरुण संस्थापकाने मला सॅन फ्रान्सिस्कोच्या फॉलसम स्ट्रीटवरील त्याच्या कंपनीच्या दोन मजल्यावरील कार्यालयात दाखवले – एक शतकापूर्वीची जुनी विटांची इमारत. मोठ्या ब्रुअरीची जागा म्हणून काम केले. बिअरच्या औद्योगिक उत्पादनाऐवजी, ऐतिहासिक संरचना आता तंत्रज्ञान उद्योगाचे भविष्य पाठविण्याच्या प्रयत्नात असलेल्या विविध स्टार्टअपचे घर आहे.

कृष्णन मला सांगतात, “ऐतिहासिकदृष्ट्या, मला असे वाटते की बुद्धिमत्तेचे मूल्यांकन अतिशय अमूर्त पद्धतीने केले गेले आहे. “जसे की, बार परीक्षा प्रकार चाचणी घेण्यास सक्षम होण्यासाठी मॉडेलना पुरेशी माहिती आहे का?”

येथे, वॅल्स स्वतःला वेगळे करण्याचा प्रयत्न करतात. अनेक बेंचमार्किंग सिस्टम सार्वजनिकरीत्या उपलब्ध असलेल्या चाचण्या देतात (यामुळे कंपनीला त्या चाचण्यांविरुद्ध त्याचे मॉडेल प्रशिक्षित करण्याची परवानगी मिळते, अशा प्रकारे वादातीत त्यांच्या परीक्षेत फसवणूक) , Vals त्याच्या विशिष्ट चाचणी साहित्याचा सार्वजनिकपणे खुलासा करत नाही. एआय मॉडेलचे सामान्य ज्ञान मोजण्याऐवजी, वॅल्स कायदा, वित्त आणि कोडिंग यासारख्या विशिष्ट उद्योगांशी संबंधित जटिल कार्ये पूर्ण करण्याच्या क्षमतेवर मॉडेलचे मूल्यमापन करते.

कृष्णन म्हणाले, “आम्ही जे करत आहोत ते प्रत्यक्षात मॉडेल्सचे खरे परिणाम काय आहेत हे पाहत आहोत. “ते काम करू शकतात जे प्रत्येक डोमेनमध्ये मानवासारखे समान गुणवत्तेचे उत्पादन तयार करतात?”

केवळ सकारात्मक परिणामांसाठीच नव्हे तर नकारात्मक परिणामांसाठी देखील तपासण्याची कल्पना आहे, तो म्हणतो. आशा आहे की, “जर ही मॉडेल्स जगभर चालली तर त्याचे नकारात्मक परिणाम काय होतील.”

Vals मोजत असलेल्या क्षमता वाढत आहेत. अधिक पारंपारिक उद्योगांव्यतिरिक्त, स्टार्टअप अधिक अद्वितीय भूप्रदेशात पुढे ढकलत आहे. “आमच्याकडे पुनरावृत्ती होणाऱ्या आत्म-सुधारणेवर एक बेंचमार्क आहे. आम्ही मानसिक आरोग्य, सायबरसुरक्षा, जैवसुरक्षा आणि अगदी सशस्त्र संघर्षाच्या कायद्यातही काही काम करत आहोत जेणेव्हा जिनिव्हा कन्व्हेन्शन कसे लागू करावे हे समजून घेण्यासाठी मॉडेल्ससाठी,” कृष्णन शेअर करतात.

कंपन्या त्यांच्या मॉडेल्सची चाचणी घेण्यासाठी Vals ला पैसे देतात, जे तुमचे डोके गुंडाळण्यासाठी एक विचित्र संकल्पना असू शकते. कंपनी तिचे मॉडेल चांगले काम करत नाही हे जाणून घेण्यासाठी पैसे का देईल? परंतु प्रभावी मापन केल्याने कंपन्यांना समस्यानिवारण करण्यात आणि कालांतराने सुधारणा करण्यात मदत होते. कृष्णन त्यांच्या कमाईच्या मॉडेलची तुलना विद्यार्थी कॉलेज बोर्डाला SAT घेण्यासाठी कसे पैसे देऊ शकतात याच्याशी करतात.

या बदल्यात, नवीन AI मॉडेल्स घेण्याचा विचार करणाऱ्या कंपन्यांसाठी हे मूल्यमापन मुख्य निर्णय घेणारे घटक बनत आहेत.

स्टार्टअप अलीकडेच उघड झाले की त्याची कमाई सध्या गेल्या वर्षीच्या आठ पट आहे. त्याचा स्टाफही वाढत आहे. केवळ आठ लोकांसह वर्षाची सुरुवात करणाऱ्या वॅल्सने आधीच 25 जणांच्या टीममध्ये तिपटीने वाढ केली आहे. कृष्णन म्हणाले की, स्टार्टअप जसजसे वाढत जाईल, तसतसे मोठ्या कार्यालयात स्थलांतरित करण्याची तसेच आणखी 10 ते 15 लोकांना आणण्याची योजना आहे. कंपनीनेही अलीकडे एक कार्यक्रम सुरू केला फेडरल एजन्सींना मॉडेल मूल्यमापन प्रदान करण्याभोवती केंद्रित.

कृष्णन त्यांच्या कंपनीच्या बेंचमार्किंग प्रणालीकडे AI कंपन्या त्यांचे व्यवसाय वाढवण्याचा आणि सार्वजनिक विश्वास प्रस्थापित करण्याबद्दल कसा विचार करतात याचे भविष्य म्हणून पाहतात.

“एआय कंपन्या सार्वजनिक होऊ लागल्या आहेत. SpaceX सार्वजनिक झाले आहेत. मानववंशशास्त्र या वर्षाच्या शेवटी येणार आहे. मला शंका आहे की OpenAI लवकरच सार्वजनिक होईल. मला वाटते की AI मॉडेल्स अर्थव्यवस्थेचा मुख्य भाग बनत आहेत आणि अधिक विस्तृतपणे पसरत आहेत, आम्ही करत असलेल्या बेंचमार्क आणि मूल्यमापनांचे प्रकार त्यांचा वापर वाढवतील आणि या कंपन्या सार्वजनिक गुंतवणूकीबद्दल किंवा सार्वजनिक गुंतवणूकीबद्दल चर्चा कशी करतात याचा मध्यवर्ती भाग बनतील. AI,” तो म्हणाला.