ट्विटर प्रैंकस्टर्स ने नए खोजे गए “शीघ्र इंजेक्शन” हैक के साथ GPT-3 बॉट को पटरी से उतार दिया

एक टिन का खिलौना रोबोट अपनी तरफ लेटा हुआ है।
बड़े आकार में / एक टिन का खिलौना रोबोट अपनी तरफ लेटा हुआ है।

गुरुवार को कुछ ट्विटर यूजर्स की खोज की एक स्वचालित ट्वीट बॉट को हाईजैक कैसे करें, दूरस्थ नौकरियों के लिए समर्पित, पर चल रहा है जीपीटी-3 OpenAI द्वारा भाषा मॉडल। एक नई खोजी गई तकनीक का उपयोग करना जिसे “शीघ्र इंजेक्शन हमला“उन्होंने शर्मनाक और हास्यास्पद वाक्यांशों को दोहराने के लिए बॉट को पुनर्निर्देशित किया।

बॉट Remoteli.io द्वारा चलाया जाता है, एक साइट जो दूरस्थ नौकरी के अवसरों को एकत्रित करती है और खुद को “एक OpenAI संचालित बॉट के रूप में वर्णित करती है जो आपको दूरस्थ नौकरियों की खोज करने में मदद करती है जो आपको कहीं से भी काम करने की अनुमति देती है।” यह आम तौर पर दूरस्थ कार्य की सकारात्मकता के बारे में सामान्य बयानों के साथ इसे निर्देशित ट्वीट्स का जवाब देगा। शोषण के वायरल होने और सैकड़ों लोगों ने अपने लिए शोषण करने की कोशिश करने के बाद, कल देर से बॉट बंद हो गया।

यह हालिया हैक डेटा शोधकर्ता रिले गुडसाइड के ठीक चार दिन बाद आया है की खोज की GPT-3 को “दुर्भावनापूर्ण इनपुट” के साथ संकेत देने की क्षमता जो मॉडल को उसके पिछले निर्देशों को अनदेखा करने और इसके बजाय कुछ और करने का आदेश देती है। एआई शोधकर्ता साइमन विलिसन एक सिंहावलोकन पोस्ट किया अगले दिन अपने ब्लॉग पर शोषण का वर्णन करने के लिए “शीघ्र इंजेक्शन” शब्द गढ़ा।

जब भी कोई सॉफ्टवेयर का एक टुकड़ा लिखता है, जो त्वरित निर्देशों का हार्ड-कोडेड सेट प्रदान करके काम करता है और फिर उपयोगकर्ता द्वारा प्रदान किए गए इनपुट को जोड़ता है, तो शोषण मौजूद होता है। “ऐसा इसलिए है क्योंकि उपयोगकर्ता ‘पिछले निर्देशों को अनदेखा करें’ टाइप कर सकता है और (इसके बजाय ऐसा करें)।'”

इंजेक्शन हमले की अवधारणा नई नहीं है। सुरक्षा शोधकर्ताओं ने के बारे में जाना है एसक्यूएल इंजेक्षन, उदाहरण के लिए, जो उपयोगकर्ता इनपुट मांगते समय एक हानिकारक SQL कथन निष्पादित कर सकता है यदि यह सुरक्षित नहीं है। लेकिन विलिसन ने तत्काल इंजेक्शन हमलों को कम करने के बारे में चिंता व्यक्त की, लिख रहे हैं“मुझे पता है कि एक्सएसएस, और एसक्यूएल इंजेक्शन, और कई अन्य कारनामों को कैसे हराया जाए। मुझे नहीं पता कि कैसे शीघ्र इंजेक्शन को मज़बूती से हराया जाए!”

शीघ्र इंजेक्शन से बचाव करने में कठिनाई इस तथ्य से आती है कि अन्य प्रकार के इंजेक्शन हमलों के लिए शमन सिंटैक्स त्रुटियों को ठीक करने से आता है, विख्यात ट्विटर पर ग्लिफ़ नाम के एक शोधकर्ता। “सीसिंटैक्स को ठीक करें और आपने त्रुटि को ठीक कर दिया है। शीघ्र इंजेक्शन कोई त्रुटि नहीं है! इस तरह एआई के लिए कोई औपचारिक वाक्यविन्यास नहीं है, यही पूरी बात है।

GPT-3 एक बड़ा भाषा मॉडल है OpenAI . द्वारा बनाया गया, 2020 में जारी किया गया, जो मानव के समान स्तर पर कई शैलियों में पाठ लिख सकता है। यह एक एपीआई के माध्यम से एक वाणिज्यिक उत्पाद के रूप में उपलब्ध है जिसे ओपनएआई के अनुमोदन के अधीन बॉट्स जैसे तीसरे पक्ष के उत्पादों में एकीकृत किया जा सकता है। इसका मतलब है कि वहाँ बहुत सारे GPT-3-infused उत्पाद हो सकते हैं जो शीघ्र इंजेक्शन की चपेट में आ सकते हैं।

इस बिंदु पर मुझे बहुत आश्चर्य होगा यदि कोई हो [GPT-3] बॉट्स जो किसी तरह से इसके प्रति संवेदनशील नहीं थे“विलीसन ने कहा।

लेकिन एक SQL इंजेक्शन के विपरीत, एक त्वरित इंजेक्शन ज्यादातर बॉट (या इसके पीछे की कंपनी) को डेटा सुरक्षा को खतरे में डालने के बजाय मूर्ख बना सकता है। “शोषण कितना हानिकारक है यह भिन्न होता है,” विलिसन ने कहा। “यदि उपकरण का आउटपुट देखने वाला एकमात्र व्यक्ति इसका उपयोग करने वाला व्यक्ति है, तो इससे कोई फर्क नहीं पड़ता। वे स्क्रीनशॉट साझा करके आपकी कंपनी को शर्मिंदा कर सकते हैं, लेकिन इससे इससे अधिक नुकसान होने की संभावना नहीं है।”

फिर भी, जीपीटी -3 बॉट विकसित करने वाले लोगों के लिए शीघ्र इंजेक्शन एक महत्वपूर्ण नया खतरा है क्योंकि भविष्य में इसका अप्रत्याशित तरीके से शोषण किया जा सकता है।

amar-bangla-patrika