Bluesky लागत शासन एल्गोरिदम के साथ मशीन सीखने की लागत को रोकने में मदद करता है

क्या आप ट्रांसफॉर्म 2022 में शामिल नहीं हो पाए? हमारी ऑन-डिमांड लाइब्रेरी में अभी सभी शिखर सम्मेलन देखें! यहां देखें.


क्वेरी ऑप्टिमाइज़ेशन आवश्यक रूप से नया नहीं है। प्रश्नों के लिए खर्चों की पहचान करने और उन्हें नियंत्रित करने के लिए क्लाउड में कॉस्ट गवर्नेंस कोई नई बात नहीं है। हालाँकि, नया क्या है, is नीला आकाशएक क्लाउड-आधारित कार्यभार अनुकूलन विक्रेता, जिस पर ध्यान केंद्रित किया गया है हिमपात का एक खंडजो इस महीने की शुरुआत में संगठनों को इन उद्देश्यों को प्राप्त करने में मदद करने के लिए लॉन्च किया गया था।

कंपनी के दृष्टिकोण में महत्वपूर्ण तत्वों में से एक है “एल्गोरिदम जो हमने स्वयं बनाया है, जो हमारे पिछले 15 वर्षों के Google, उबेर, और इसी तरह के कार्यभार को ट्यून करने के हमारे प्रत्येक अनुभव पर आधारित है,” ने कहा। मिंगशेंग होंगब्लूस्की सीईओ।

हांग Google के इंजीनियरिंग के पूर्व प्रमुख हैं मशीन लर्निंग रनटाइम क्षमताओं, एक भूमिका जिसमें उन्होंने TensorFlow के साथ बड़े पैमाने पर काम किया। ब्लूस्की की स्थापना हांग और सीटीओ झेंग शाओ द्वारा की गई थी, जो उबेर के एक पूर्व प्रतिष्ठित इंजीनियर थे, जहां उन्होंने बड़े डेटा आर्किटेक्चर और लागत में कमी में विशेषज्ञता हासिल की थी।

एल्गोरिथम हांग ने मुख्य रूप से क्लाउड सेटिंग्स में बड़े पैमाने पर प्रश्नों का विश्लेषण किया, और यह निर्धारित किया कि उनके कार्यभार को कैसे अनुकूलित किया जाए, जिससे उनकी लागत कम हो। “व्यक्तिगत प्रश्नों का शायद ही कभी व्यावसायिक मूल्य होता है,” हांग ने कहा। “यह उनमें से एक संयोजन है जो एक साथ कुछ व्यावसायिक लक्ष्यों को प्राप्त करता है, जैसे डेटा को बदलना और व्यावसायिक अंतर्दृष्टि प्रदान करना।”

आयोजन

मेटाबीट 2022

मेटाबीट 4 अक्टूबर को सैन फ्रांसिस्को, सीए में सभी उद्योगों के संचार और व्यापार करने के तरीके को कैसे बदल देगा, इस पर मार्गदर्शन देने के लिए विचारशील नेताओं को एक साथ लाएगा।

यहां रजिस्टर करें

विशेष रूप से दिलचस्प बात यह है कि ब्लूस्की इस कार्य के लिए सांख्यिकीय और प्रतीकात्मक कृत्रिम बुद्धि (एआई) दोनों दृष्टिकोणों को जोड़ती है, जो स्पष्ट रूप से दर्शाती है कि उनका संलयन उद्यम में एआई के भविष्य को प्रभावित कर सकता है।

मशीन लर्निंग क्वेश्चन का कॉस्ट गवर्नेंस

लोकप्रिय क्लाउड स्रोतों को क्वेरी करने के लिए समर्पित समय और संसाधनों की मात्रा को अनुकूलित करके ब्लूस्की लागत प्रशासन को मजबूत करने के कई तरीके हैं। समाधान वृद्धिशील भौतिककरण के माध्यम से क्वेरी रिडंडेंसी को रोक सकता है, सेट वृद्धि में पुनरावर्ती प्रश्नों के लिए एक उपयोगी कार्य, जैसे प्रति घंटा, दैनिक या साप्ताहिक।

हांग के अनुसार, मासिक राजस्व के आंकड़ों का विश्लेषण करते समय, उदाहरण के लिए, यह क्षमता सिस्टम को “पूर्व गणना को मूर्त रूप देने और केवल वृद्धिशील भाग की गणना करने” या अंतिम गणना के बाद से डेल्टा को सक्षम बनाती है। जब बड़े पैमाने पर लागू किया जाता है, तो यह सुविधा काफी मात्रा में वित्तीय और आईटी संसाधनों का संरक्षण कर सकती है।

ट्यूनिंग सिफारिशें

Bluesky क्वेरी पैटर्न और उनकी खपत में विस्तृत मात्रा में दृश्यता प्रदान करता है। समाधान सबसे महंगे क्वेरी पैटर्न की एक सतत सूची प्रदान करता है, साथ ही अन्य तकनीकों को “लोगों को यह दिखाने के लिए कि वे कितना खर्च कर रहे हैं,” हांग ने कहा। “हम इसे अलग-अलग उपयोगकर्ताओं, टीमों, परियोजनाओं, कॉल सेंटरों आदि के लिए तोड़ते हैं, इसलिए हर कोई जानता है कि हर कोई कितना खर्च कर रहा है।”

Bluesky एल्गोरिदम को शामिल करता है जिसमें प्रोफ़ाइल-चालित, क्वेरी लागत एट्रिब्यूशन के लिए सांख्यिकीय और गैर-सांख्यिकीय AI दृष्टिकोण शामिल हैं। क्वेरी प्रोफाइल इस बात पर आधारित हैं कि विशिष्ट प्रश्नों के लिए कितने समय, सीपीयू और मेमोरी की आवश्यकता होती है। एल्गोरिदम इस जानकारी को क्वेरी कोड, डेटा लेआउट आदि को संशोधित करने के लिए ट्यूनिंग अनुशंसाओं के माध्यम से प्रश्नों के लिए ऐसे संसाधनों के उपयोग को कम करने के लिए नियोजित करता है। “अनुकूलन केवल गणना नहीं है,” हांग ने कहा। “इसके अलावा, हम स्टोरेज को व्यवस्थित करते हैं: टेबल इंडेक्स, आप टेबल कैसे बिछाते हैं, और फिर वेयरहाउस सेटिंग्स और सिस्टम सेटिंग्स हैं जिन्हें हम ट्विक करते हैं।”

नियम और पर्यवेक्षित मशीन लर्निंग

महत्वपूर्ण रूप से, इस तरह की सिफारिशें प्रदान करने वाले एल्गोरिदम और हांग ने जिन कारकों का उल्लेख किया है उनका विश्लेषण नियम-आधारित दृष्टिकोण और मशीन सीखने में शामिल है। जैसे, वे एआई के क्लासिक ज्ञान-प्रतिनिधित्व नींव को इसके सांख्यिकीय के साथ जोड़ते हैं। प्राकृतिक भाषा प्रौद्योगिकियों के लिए इस तरह के अग्रानुक्रम (जिसे न्यूरो-प्रतीकात्मक एआई कहा जाता है) के प्रचुर उपयोग के मामले हैं। गार्टनर ने एआई के इन दोनों रूपों को व्यापक के हिस्से के रूप में शामिल करने का उल्लेख किया है समग्र एआई गति। हांग के अनुसार, नियम क्वेरी ऑप्टिमाइज़ेशन के लिए स्वाभाविक रूप से उपयुक्त हैं।

“यह नियमों से शुरू होने वाले क्वेरी ऑप्टिमाइज़ेशन की तरह है और आप उन्हें लागत मॉडल से समृद्ध करते हैं,” उन्होंने प्रतिबिंबित किया। “ऐसे मामले हैं जहां फ़िल्टर चलाने की कोशिश करना हमेशा एक अच्छा विचार होता है। तो यह एक अच्छा नियम है। एक पूर्ण तालिका स्कैन को समाप्त करने के लिए, यह हमेशा अच्छा होता है। यह एक नियम है।”

लागत शर्तों या लागत मॉडल के आधार पर नियमों को लागू करते समय पर्यवेक्षित शिक्षण जोड़ा जाता है। उदाहरण के लिए, खराब आरओआई वाले प्रश्नों को समाप्त करना एक उपयोगी नियम है। पर्यवेक्षित शिक्षण तकनीक यह पता लगा सकती है कि पिछले सप्ताह के प्रश्नों की जांच करके कौन से प्रश्न इस वर्गीकरण में फिट होते हैं, उदाहरण के लिए, नियमों के माध्यम से उन्हें समाप्त करने से पहले। “यदि कोई प्रश्न पिछले सात दिनों में 98% से अधिक बार विफल हो रहा है, तो आप इस तरह के क्वेरी पैटर्न को पेनल्टी बॉक्स में डाल सकते हैं,” हांग ने टिप्पणी की।

लागत पर अंकुश

उद्यम लागत को कम करने की आवश्यकता, विशेष रूप से जब वे मल्टीक्लाउड और हाइब्रिड क्लाउड सेटिंग्स पर लागू होती हैं, आने वाले वर्षों में निश्चित रूप से बढ़ेगी। कॉस्ट गवर्नेंस और वर्कलोड ऑप्टिमाइज़ेशन विधियाँ जो क्वेरी को ऑप्टिमाइज़ करती हैं, यह समझने में मददगार होती हैं कि लागत कहाँ बढ़ रही है और उन्हें कैसे कम किया जाए। स्वचालन पर भरोसा करना जो इन क्षेत्रों की पहचान करने के लिए सांख्यिकीय और गैर-सांख्यिकीय एआई दोनों का उपयोग करता है, इन मुद्दों को सुधारने के लिए सुझाव देते समय, उद्यम एआई कहां जा रहा है, इसका अग्रदूत हो सकता है

वेंचरबीट का मिशन तकनीकी निर्णय निर्माताओं के लिए परिवर्तनकारी उद्यम प्रौद्योगिकी और लेनदेन के बारे में ज्ञान प्राप्त करने के लिए एक डिजिटल टाउन स्क्वायर होना है। हमारे ब्रीफिंग की खोज करें।

amar-bangla-patrika