लोक आता बेंचमार्क करण्यासाठी सुपर मारिओ वापरत आहेत

विचार केला पोकेमॉन एआयसाठी एक कठीण बेंचमार्क होता? संशोधकांचा एक गट असा युक्तिवाद करतो की सुपर मारिओ ब्रदर्स आणखी कठोर आहे.

कॅलिफोर्निया युनिव्हर्सिटी सॅन डिएगो विद्यापीठातील हाओ एआय लॅबने शुक्रवारी एआयला लाइव्ह सुपर मारिओ ब्रदर्स गेम्समध्ये फेकले. अँथ्रॉपिकच्या क्लॉड 7.7 ने सर्वोत्कृष्ट कामगिरी केली, त्यानंतर क्लॉड 3.5. गूगलचे मिथुन 1.5 प्रो आणि ओपनईच्या जीपीटी -4 ओ संघर्ष.

मूळ 1985 च्या रिलीझ प्रमाणेच सुपर मारिओ ब्रदर्सची ती समान आवृत्ती नव्हती. खेळ एका एमुलेटरमध्ये धावला आणि फ्रेमवर्कसह समाकलित झाला, गेमिंगएजेन्टमारिओवर एआयएस नियंत्रण देणे.

हाओने घरात विकसित केलेल्या गेमिंगएजेन्टने एआयच्या मूलभूत सूचनांना दिले, जसे की, “जर एखादा अडथळा किंवा शत्रू जवळ असेल तर डिजवर डावीकडे जा.” आणि गेममधील स्क्रीनशॉट. त्यानंतर एआयने मारिओ नियंत्रित करण्यासाठी पायथन कोडच्या स्वरूपात इनपुट व्युत्पन्न केले.

तरीही, हाओ म्हणतो की गेमने प्रत्येक मॉडेलला जटिल युक्तीची योजना आखण्यास आणि गेमप्लेची रणनीती विकसित करण्यास “शिकण्यास” भाग पाडले. विशेष म्हणजे लॅबला असे आढळले की ओपनईच्या ओ 1 सारख्या तथाकथित तर्क मॉडेल्स, जे समाधानासाठी चरण-चरणात येणा problems ्या समस्यांद्वारे “विचार करतात”, बहुतेक बेंचमार्कवर सामान्यत: मजबूत असूनही “नॉन-रेझनिंग” मॉडेलपेक्षा वाईट कामगिरी करतात.

याच्यासारख्या रिअल-टाइम गेम्स खेळण्यात अडचणी येण्याचे मुख्य कारणांपैकी एक म्हणजे त्यांनी संशोधकांच्या म्हणण्यानुसार थोडा वेळ-सेकंद, सहसा-कृती करण्याचा निर्णय घेण्यासाठी. सुपर मारिओ ब्रदर्समध्ये, वेळ ही प्रत्येक गोष्ट आहे. दुसर्‍याचा अर्थ असा होतो की सुरक्षितपणे साफ झालेल्या उडीमधील फरक आणि मृत्यूची घसरण.

अनेक दशकांपासून एआय बेंचमार्क करण्यासाठी खेळांचा वापर केला जात आहे. पण काही तज्ञांनी शहाणपणावर प्रश्न केला आहे एआयच्या गेमिंग कौशल्ये आणि तांत्रिक प्रगती दरम्यान कनेक्शन रेखाटणे. वास्तविक जगाच्या विपरीत, खेळ अमूर्त आणि तुलनेने सोपे असतात आणि ते एआयला प्रशिक्षण देण्यासाठी सैद्धांतिकदृष्ट्या असीम प्रमाणात डेटा प्रदान करतात.

नुकत्याच झालेल्या चमकदार गेमिंग बेंचमार्कने ओपनई येथील संशोधन वैज्ञानिक आणि संस्थापक सदस्य आंद्रेज कर्पथी याकडे लक्ष वेधले.

“आत्ताच (एआय) मेट्रिक्स काय पाहायचे हे मला खरोखर माहित नाही,” त्यांनी ए मध्ये लिहिले एक्स वर पोस्ट करा? “टीएलडीआर माझी प्रतिक्रिया आहे की ही मॉडेल्स सध्या किती चांगली आहेत हे मला खरोखर माहित नाही.”

कमीतकमी आम्ही एआय प्ले मारिओ पाहू शकतो.