अधिकांश उत्पाद टीमें प्रयोग चलाती हैं। वे जिस तरह से प्रयोग चलाते हैं उससे बहुत कम लोग सीखते हैं।
आप एक A/B परीक्षण भेजते हैं, परिणामों की प्रतीक्षा करते हैं, निर्णय लेते हैं और आगे बढ़ते हैं। हो सकता है कि आप परिणाम को एक धारणा पृष्ठ में दर्ज करें जिसे कोई भी दोबारा नहीं पढ़ता। स्वयं प्रयोग - क्या परिकल्पना अच्छी थी, क्या परीक्षण का डिज़ाइन सही था, क्या आपने वास्तव में परिणाम पर कार्य किया - इसकी कभी जांच नहीं की जाती।
इस तरह टीमें हर तिमाही में दर्जनों प्रयोग करती हैं जबकि उनकी प्रयोग क्षमता में मुश्किल से ही सुधार होता है। वे प्रयोग में बेहतर हुए बिना प्रयोग कर रहे हैं।
एक प्रयोग रेट्रोस्पेक्टिव इसे ठीक करता है। यह व्यक्तिगत परीक्षणों के परिणामों के बारे में नहीं है। यह समग्र रूप से आपके प्रयोग अभ्यास की गुणवत्ता के बारे में है।
आप वास्तव में क्या समीक्षा कर रहे हैं
एक नियमित स्प्रिंट रेट्रोस्पेक्टिव पूछता है "हमने एक साथ कैसे काम किया?" एक प्रयोग रेट्रोस्पेक्टिव पूछता है "हम सीखने में कितने अच्छे हैं?"
यह पांच क्षेत्रों में विभाजित है:
परिकल्पना गुणवत्ता। क्या आप विशिष्ट और गलत साबित होने वाली भविष्यवाणियों के साथ उन चीजों का परीक्षण कर रहे हैं जो मायने रखती हैं? या क्या आप कम प्रभाव वाले परिवर्तनों पर अस्पष्ट परीक्षण चला रहे हैं क्योंकि वे आसान हैं?
परीक्षण डिज़ाइन। क्या आपके प्रयोग व्यवस्थित रूप से अच्छे हैं? उचित नमूना आकार, स्वच्छ नियंत्रण समूह, परीक्षणों के बीच न्यूनतम हस्तक्षेप?
निष्पादन। क्या परीक्षण सुचारू रूप से चलते हैं, या क्या आप नियमित रूप से उपकरण बग, दूषित डेटा, या परीक्षणों से निपटते हैं जिन्हें फिर से शुरू करना पड़ता है?
विश्लेषण। जब परिणाम आते हैं, तो क्या आप उनकी कठोरता से व्याख्या करते हैं? या क्या आप उस मीट्रिक को चुनते हैं जो उस बात की पुष्टि करता है जिस पर आप पहले से ही विश्वास करते थे?
कार्रवाई। क्या प्रयोग के परिणाम वास्तव में आप जो बनाते हैं उसे बदल देते हैं? या फिर क्या उन्हें दाखिल कर दिया जाता है जबकि रोडमैप वही रहता है?
अधिकांश टीमें इनमें से एक या दो में अच्छी हैं और बाकी में कमजोर हैं। ⟦रेट्रो⟧ आपको यह देखने में मदद करता है कि श्रृंखला कहां टूटती है।
रेट्रोस्पेक्टिवचल रहा है
इसे त्रैमासिक, या हर 8-10 प्रयोगों के बाद करें - जो भी पहले हो। प्रयोग में शामिल सभी लोगों को आमंत्रित करें: प्रधान मंत्री, उपकरण परीक्षण करने वाले इंजीनियर, डेटा विश्लेषक और डिज़ाइनर।
चरण 1: प्रयोग लॉग की समीक्षा करें
अवधि से प्रत्येक प्रयोग को ऊपर उठाएं। प्रत्येक के लिए, कैप्चर करें:
- परिकल्पना (आपने क्या भविष्यवाणी की और क्यों)
- परिणाम (पुष्टि, अस्वीकृत, या अनिर्णायक)
- निर्णय लिया गया (भेजा गया, मारा गया, दोहराया गया, या अनदेखा किया गया)
- लॉन्च से निर्णय तक का समय
इस चरण को न छोड़ें. आपके प्रयोगों के पूरे पोर्टफोलियो को देखने से ऐसे पैटर्न का पता चलता है जो व्यक्तिगत परीक्षण समीक्षाओं में छूट जाते हैं।
चरण 2: अपनी परिकल्पनाओं का आकलन करें
आपके द्वारा परीक्षण की गई परिकल्पनाओं को देखें। पूछें:
- कितने लोग इतने विशिष्ट थे कि उन्हें वास्तव में गलत साबित किया जा सकता था?
- कितने लक्षित सार्थक व्यावसायिक मेट्रिक्स बनाम वैनिटी मेट्रिक्स?
- क्या आप अपनी सबसे जोखिम भरी धारणाओं का परीक्षण कर रहे थे, या अपनी सबसे सुरक्षित धारणाओं का?
- क्या कोई परिकल्पना उपयोगकर्ता अनुसंधान से आई है, या वे सभी आंतरिक राय थीं?
एक सामान्य विफलता मोड: टीमें वृद्धिशील यूआई ट्विक्स (बटन रंग, कॉपी परिवर्तन) का परीक्षण करती हैं क्योंकि उन्हें सेट अप करना आसान होता है, जबकि बड़ी रणनीतिक धारणाएं ("क्या उपयोगकर्ता वास्तव में इस सुविधा श्रेणी को चाहते हैं?") का परीक्षण नहीं किया जाता है।
अच्छी परिकल्पनाओं में तीन गुण होते हैं। वे विशिष्ट हैं ("सक्रियण दर 40% से बढ़कर 50% हो जाएगी", न कि "सगाई में सुधार होगा")। वे उस मीट्रिक को लक्षित करते हैं जिसकी आप परवाह करते हैं। और वे उस निर्णय से जुड़े हैं जो आप वास्तव में परिणाम के आधार पर लेंगे।
चरण 3: परीक्षण डिज़ाइन और निष्पादन का मूल्यांकन करें
यही वह जगह है जहां कठोरता जीवित रहती है या मर जाती है। समीक्षा:
- नमूना आकार। क्या आपने आवश्यक नमूना आकारों की गणना पहले ही कर ली थी, या केवल तब तक परीक्षण चलाते रहे जब तक कि संख्याएँ अच्छी न दिखें? उत्तरार्द्ध पी-हैकिंग का एक रूप है जो अविश्वसनीय परिणाम उत्पन्न करता है।
- अवधि। क्या साप्ताहिक चक्रों को ध्यान में रखने के लिए परीक्षण पर्याप्त समय तक चले? सोमवार से गुरुवार तक चलने वाला एक परीक्षण सप्ताहांत व्यवहार पैटर्न को भूल जाता है।
- अलगाव. क्या एक ही उपयोगकर्ता पर एक साथ कई प्रयोग चल रहे थे? इंटरेक्शन प्रभाव दोनों परीक्षणों को अमान्य कर सकते हैं।
- इंस्ट्रूमेंटेशन। क्या किसी परीक्षण में ट्रैकिंग बग थे जो परिणाम खराब कर देते थे?
यदि आपको बार-बार निष्पादन संबंधी समस्याएं मिलती हैं, तो वे अक्सर उच्चतम-लीवरेज समाधान होते हैं। स्वच्छ उपकरण और उचित नमूना आकार वाली एक टीम 10 प्रयोगों से अधिक सीखेगी, जबकि एक लापरवाह टीम 50 से सीखती है।
चरण 4: अपने निर्णयों की जांच करें
यह वह चरण है जिसे अधिकांश टीमें छोड़ देती हैं, और यह सबसे महत्वपूर्ण है।
प्रत्येक प्रयोग के लिए, पूछें: क्या परिणाम में कुछ बदलाव आया? केवल तीन मान्य परिणाम हैं:
- परिणाम ने परिकल्पना की पुष्टि की -- आपने वैरिएंट भेज दिया है। अच्छा.
- परिणाम ने परिकल्पना को खारिज कर दिया - आपने मार डाला या दिशा बदल दी। भी अच्छा.
- परिणाम अनिर्णायक था -- आपने या तो परीक्षण बढ़ा दिया या स्वीकार किया कि परिवर्तन का कोई सार्थक प्रभाव नहीं है। ठीक है.
विफलता मोड हैं:
- नकारात्मक परिणामों के बावजूद शिपिंग क्योंकि कोई वरिष्ठ व्यक्ति वैसे भी यह सुविधा चाहता था। यह आपकी टीम को बताता है कि प्रयोग रंगमंच हैं। परीक्षण में शक्ति की कमी क्यों थी इसकी जांच करने के बजाय
- अनिर्णायक परिणामों को नजरअंदाज करना। क्या प्रभाव का आकार अपेक्षा से छोटा था? क्या नमूना बहुत छोटा था?
- डूब गई लागत के कारण कभी भी कुछ भी न खोएं। यदि आप 20 प्रयोग चलाते हैं और 20 वैरिएंट शिप करते हैं, तो आप प्रयोग नहीं कर रहे हैं - आप केवल दिखावे के लिए अपने लॉन्च का A/B परीक्षण कर रहे हैं।
एक स्वस्थ प्रयोग अभ्यास जो परीक्षण करता है उसका लगभग आधा हिस्सा नष्ट कर देता है। यदि आपके जहाज की दर 80% से ऊपर है, तो आपकी परिकल्पना पर्याप्त रूप से साहसी नहीं है, या आप नकारात्मक परिणामों के बारे में ईमानदार नहीं हैं।
चरण 5: प्रक्रिया में सुधार की पहचान करें
आपको मिले पैटर्न के आधार पर, अगले चक्र के लिए 2-3 विशिष्ट सुधार चुनें। इनमें शामिल हो सकते हैं:
- एक परिकल्पना टेम्पलेट बनाना जो विशिष्टता को बल देता है
- परीक्षण डिज़ाइन के लिए प्री-लॉन्च चेकलिस्ट जोड़ना (नमूना आकार गणना, मीट्रिक परिभाषा, अवधि अनुमान)
- निर्णय की समय सीमा निर्धारित करना ताकि प्रयोग अनिश्चित काल तक न चलें
- यह आवश्यक है कि प्रयोग के परिणामों की सार्थकता तक पहुंचने के 48 घंटों के भीतर समीक्षा की जाए
- बेहतर उपकरण बनाना या अधिक विश्वसनीय परीक्षण प्लेटफ़ॉर्म पर स्विच करना
फ़ीचर फ़्लैग अपनी समीक्षा के पात्र हैं
फ़ीचर फ़्लैग प्रयोग नहीं हैं, लेकिन उनका उपयोग अक्सर प्रयोगों को प्रबंधित करने के लिए किया जाता है, और वे अपनी समस्याएं जमा करते हैं।
यदि आपकी टीम फीचर फ़्लैग का उपयोग करती है, तो इन प्रश्नों को अपने रेट्रोस्पेक्टिव में जोड़ें:
- वर्तमान में कितने झंडे सक्रिय हैं? झंडे का फैलाव एक वास्तविक परिचालन जोखिम है। जो झंडे अस्थायी माने जाते थे वे स्थायी हो गए। डेड कोड पथ कई गुना बढ़ जाते हैं। कॉन्फ़िगरेशन एक भूलभुलैया बन जाता है।
- इस तिमाही में कितने झंडे साफ़ किए गए? यदि उत्तर "कोई नहीं" है, तो आप तकनीकी ऋण का निर्माण कर रहे हैं।
- क्या किसी झंडे के कारण घटनाएं हुईं? परस्पर विरोधी झंडे, बासी झंडे, या अप्रत्याशित इंटरैक्शन वाले झंडे उत्पादन समस्याओं का एक सामान्य स्रोत हैं।
- क्या हर झंडे का कोई स्पष्ट स्वामी होता है? अज्ञात झंडे वे होते हैं जो अब से छह महीने बाद समस्याएं पैदा करते हैं जब किसी को याद नहीं रहता कि वे क्या करते हैं।
एक नियम निर्धारित करें: प्रत्येक ध्वज को बनाते समय उसे हटाने की तारीख मिलती है। जब वह तिथि बीत जाती है, तो ध्वज को या तो साफ़ कर दिया जाता है या औचित्य के साथ स्पष्ट रूप से नवीनीकृत कर दिया जाता है।
असफल प्रयोगों से सीखना
असफल प्रयोग वह होते हैं जहां अधिकांश सीख जीवित रहती है, लेकिन केवल तभी जब आप वास्तव में उनका विश्लेषण करते हैं।
जब कोई प्रयोग नकारात्मक या शून्य परिणाम देता है, तो बस आगे बढ़ने की इच्छा का विरोध करें। पूछें:
- क्या परिकल्पना गलत थी, या कार्यान्वयन गलत था?
- क्या आपने सही दर्शक वर्ग का परीक्षण किया?
- क्या मापन योग्य प्रभाव उत्पन्न करने के लिए परिवर्तन इतना सूक्ष्म था?
- क्या परिणाम उपयोगकर्ता अनुसंधान के विपरीत था? यदि हां, तो कौन सा गलत है?
कभी-कभी एक असफल प्रयोग से पता चलता है कि उपयोगकर्ता का आपका मानसिक मॉडल गलत है। वह अंतर्दृष्टि एक दर्जन से अधिक सफल बटन-रंग परीक्षणों के लायक है।
असफल प्रयोगों को सफल प्रयोगों की तरह ही कठोरता से दस्तावेज़ित करें। समय के साथ, "जिन चीज़ों के बारे में हमने सोचा था कि वे काम करेंगी लेकिन नहीं हुईं" की आपकी लाइब्रेरी वास्तव में मूल्यवान संस्थागत ज्ञान बन जाती है। यह भविष्य की टीमों को उन्हीं बुरे विचारों को दोबारा परखने से रोकता है।
संकेत है कि आपका प्रयोग अभ्यास परिपक्व हो रहा है
जब आप देखेंगे तो आपको पता चल जाएगा कि आपका प्रयोग रेट्रोस्पेक्टिव काम कर रहा है:
- परिकल्पनाएं समय के साथ अधिक विशिष्ट और महत्वाकांक्षी हो जाती हैं
- इंस्ट्रूमेंटेशन समस्याओं के कारण कम परीक्षणों को फिर से शुरू करना पड़ा
- परीक्षण पूरा होने से निर्णय लेने तक का समय कम हो जाता है
- आपकी टीम आराम से उन सुविधाओं को ख़त्म कर देती है जो ख़राब परीक्षण करती हैं, यहां तक कि लोकप्रिय आंतरिक विचारों को भी
- नए टीम के सदस्य पिछले प्रयोग दस्तावेज़ पढ़ सकते हैं और आपके उत्पाद के सीखने के इतिहास को समझ सकते हैं
ऐसा रातोरात नहीं होता. कंपाउंडिंग प्रभाव दिखाई देने से पहले तीन या चार त्रैमासिक रेट्रोस्पेक्टिव लगते हैं। इसके साथ बने रहें.
<घंटा/>NextRetro निःशुल्क आज़माएं -- अपनी टीम की प्रयोग प्रथाओं की समीक्षा करने और एक मजबूत सीखने की संस्कृति बनाने के लिए संरचित रेट्रोस्पेक्टिव टेम्पलेट का उपयोग करें।
<घंटा/>अंतिम अद्यतन: फरवरी 2026
पढ़ने का समय: 7 मिनट
