AI कोडिंग एजेंटों के थ्रूपुट को दो आंकड़ों को एक साथ पढ़कर मापा जाना चाहिए: मर्ज किए गए पुल रिक्वेस्ट (PRs merged) और अस्वीकृति दर (denial rate), यानी बिना मर्ज किए बंद किए गए पुल रिक्वेस्ट का अनुपात। इसमें योजना से मर्ज तक का चक्र समय (cycle time) और प्रति मर्ज पुल रिक्वेस्ट लागत जोड़ें, तो आपके पास यह तय करने के लिए पर्याप्त डेटा होगा कि क्या एजेंट उचित कीमत पर स्वीकृत कार्य प्रदान कर रहे हैं। खोले गए पुल रिक्वेस्ट (PRs opened) — वह संख्या जिसे अधिकांश टीमें सबसे पहले रिपोर्ट करती हैं — अकेले पर्याप्त नहीं है: एक एजेंट दिन में पचास ऐसे पुल रिक्वेस्ट खोल सकता है जिन्हें कोई मर्ज नहीं करता, और वह संख्या केवल कागजी प्रगति जैसी दिखेगी। यह लेख प्रत्येक मीट्रिक को परिभाषित करता है, खराब रीडिंग का अर्थ स्पष्ट करता है, और दिखाता है कि Ivy Tendril और Ivy का मुफ्त कैलकुलेटर इन्हें कैसे ट्रैक करते हैं।
प्रमुख मेट्रिक्स
| मीट्रिक | परिभाषा | खराब रीडिंग का क्या अर्थ है |
|---|---|---|
| खोले गए PR | अवधि में बनाए गए कुल पुल रिक्वेस्ट | अपने आप में कुछ नहीं। यदि मर्ज सपाट है और खोले गए PR बढ़ रहे हैं, तो इसका अर्थ है कि एजेंट ऐसा कोड बना रहे हैं जिसकी टीम को आवश्यकता नहीं है |
| मर्ज किए गए PR | अवधि में सफलतापूर्वक मर्ज किए गए पुल रिक्वेस्ट | खोले गए PR बढ़ते समय मर्ज का सपाट या गिरना: कोड समीक्षा सबसे धीमा कदम है, या गुणवत्ता गिर रही है |
| अस्वीकृति दर | बिना मर्ज किए बंद किए गए PR, कुल बंद किए गए PR (मर्ज और बिना मर्ज बंद) से विभाजित | उच्च: योजनाएं गलत हैं, सत्यापन कमजोर है, या समीक्षक देर से अस्वीकार करते हैं। कम वॉल्यूम के साथ शून्य के करीब: केवल सबसे सुरक्षित कार्यों का प्रयास किया जा रहा है |
| चक्र समय | योजना निर्माण से लेकर अंतिम मर्ज तक का समय | लंबा: काम किसी मानवीय चेकपॉइंट पर रुका हुआ है। जांचें कि वह कौन सा पड़ाव है |
| प्रति मर्ज PR लागत | अवधि में कुल टोकन या डॉलर खर्च, मर्ज किए गए PR से विभाजित | बढ़ना: पुनः प्रयास (retries), बहुत बड़ी योजनाएं, या महंगा मॉडल चुनना जहां सस्ता मॉडल भी सत्यापन पास कर लेता |
| सत्यापन पास दर | पहले प्रयास में परीक्षण, लिंट और बिल्ड पास करने वाले निष्पादनों का अनुपात | कम: योजनाओं में विवरण की कमी है या एजेंट के पास कोडबेस के संदर्भ (context) की कमी है |
दो परिभाषाओं पर विशेष ध्यान देने की आवश्यकता है। अस्वीकृति दर (Denial rate) के भाजक (denominator) के रूप में बंद किए गए PR का उपयोग किया जाता है, खोले गए PR का नहीं, ताकि समीक्षाधीन खुले पुल रिक्वेस्ट को स्वीकृत या अस्वीकृत न माना जाए। प्रति मर्ज PR लागत में कुल खर्च — जिसमें अस्वीकृत या छोड़ी गई योजनाओं पर किया गया खर्च भी शामिल है — को केवल और केवल वास्तव में मर्ज किए गए पुल रिक्वेस्ट से विभाजित किया जाता है। यह जानबूझकर किया गया है: अस्वीकृत काम की लागत भी अंतिम मर्ज किए गए काम की कुल लागत का अभिन्न हिस्सा होती है।
मर्ज किए गए PR और अस्वीकृति दर एक ईमानदार जोड़ी क्यों हैं
किसी भी एकल मीट्रिक को किसी अन्य मीट्रिक की बलि देकर कृत्रिम रूप से सुधारा जा सकता है।
- क्या निष्पादित किया जाना है इसके नियमों में ढील देने पर खोले गए PR बढ़ जाते हैं। इसके साथ ही अस्वीकृति दर भी बढ़ जाती है।
- समीक्षकों द्वारा बिना गहन जांच के तुरंत मंजूरी देने पर मर्ज किए गए PR बढ़ जाते हैं। लेकिन मर्ज के बाद पाए जाने वाले दोष बढ़ जाते हैं, और अस्वीकृति दर गलत कारणों से गिर जाती है।
- जब आप केवल सबसे सुरक्षित और आसान योजनाओं को निष्पादित करते हैं, तो अस्वीकृति दर गिर जाती है। लेकिन इसके साथ ही मर्ज किए गए PR भी तेजी से गिर जाते हैं।
यही तर्क DORA मेट्रिक्स के पीछे भी है, जहां थ्रूपुट और स्थिरता को हमेशा एक जोड़ी के रूप में प्रस्तुत किया जाता है, क्योंकि किसी एक को दूसरे की कीमत पर आसानी से तोड़ा-मरोड़ा जा सकता है। मर्ज किए गए PR और अस्वीकृति दर को एक साथ पढ़ने से इस विसंगति से बचा जा सकता है। अस्वीकृति दर को बढ़ाए बिना मर्ज बढ़ाने के लिए, आपको ऐसा काम अधिक उत्पन्न करना होगा जिसे टीम वास्तव में स्वीकार करे। मर्ज कम किए बिना अस्वीकृति दर को घटाने के लिए, आपको कम निष्पादन करने के बजाय योजनाओं और सत्यापन प्रक्रिया को सुधारना होगा। दोनों में से किसी भी संख्या को दूसरे की अनदेखी करके नहीं सुधारा जा सकता।
खोले गए PR का आकर्षण इसलिए है क्योंकि यह एजेंट द्वारा सबसे पहले दिया जाने वाला स्पष्ट आउटपुट है और इसे गिनना सबसे आसान है। लेकिन एक खुला पुल रिक्वेस्ट किसी अन्य व्यक्ति के समय की मांग है। अनुरोधों को आउटपुट के रूप में गिनना एजेंटों को समीक्षकों के लिए काम बढ़ाने के लिए पुरस्कृत करता है। वहीं, मर्ज को गिनना उन्हें काम सफलतापूर्वक पूरा करने के लिए पुरस्कृत करता है।
Ivy अपना डेटा इसी तरह प्रकाशित करता है। Ivy क्यों चुनें पेज पर प्रतिदिन PR बनाम अस्वीकृति दर चार्ट फरवरी से अप्रैल 2026 तक Ivy रिपॉजिटरी में 1,946 पुल रिक्वेस्ट के आधार पर तैयार किया गया है। Ivy की रिपोर्ट है कि योजना, निष्पादन, सत्यापन और समीक्षा के वर्कफ़्लो को अपनाने के बाद उसकी टीम लगभग 10 से बढ़कर प्रति दिन 100 से अधिक पुल रिक्वेस्ट तक पहुंच गई, जिसे वह सॉफ्टवेयर फैक्ट्री कहती है। मात्रा के आंकड़े को अस्वीकृति दर के ठीक बगल में दिखाया गया है क्योंकि अकेले यह कुछ भी साबित नहीं करता।
प्रति मर्ज PR लागत और सत्यापन पास दर
एक बार मर्ज और अस्वीकृति दर नियंत्रित हो जाने के बाद, प्रति मर्ज पुल रिक्वेस्ट लागत यह बताती है कि स्वीकृत काम की वास्तविक कीमत क्या है। यही वह संख्या है जिसकी मांग एक सीटीओ (CTO) करता है, और इसे प्रति योजना या प्रति निष्पादन के बजाय प्रति मर्ज किए गए बदलाव के डॉलर या टोकन में होना चाहिए, ताकि पुनः प्रयास (retries) और अस्वीकृत काम की लागत भी इसमें शामिल रहे।
प्रति मर्ज पुल रिक्वेस्ट लागत वह आंकड़ा भी है जो कतार में रुकावटों (queuing) को उजागर करता है: लिटिल के नियम के अनुसार, एक निश्चित मर्ज दर पर खुले पुल रिक्वेस्ट का बढ़ता बैकलॉग यह दर्शाता है कि चक्र समय बढ़ रहा है, चाहे किसी ने इसे औपचारिक रूप से मापा हो या नहीं। तीन कारक प्रति मर्ज PR लागत को प्रभावित करते हैं:
- पुनः प्रयास (Retries): प्रत्येक असफल सत्यापन एक नया निष्पादन चक्र है। सत्यापन पास दर एक अग्रणी संकेतक है; जब यह गिरती है, तो कुछ दिनों बाद प्रति मर्ज PR लागत बढ़ जाती है। सत्यापन द्वार (Verification gates) में बताया गया है कि क्या जांचना है और योजना द्वार सबसे महत्वपूर्ण क्यों है।
- योजना का आकार (Plan size): बड़ी योजनाओं पर प्रति निष्पादन अधिक लागत आती है और उन्हें अधिक बार अस्वीकार किया जाता है, क्योंकि समीक्षक को आपत्ति जताने के लिए अधिक अवसर मिलते हैं। एक योजना को छोटी योजनाओं में विभाजित करने से आमतौर पर अस्वीकृति दर और प्रति मर्ज PR लागत दोनों कम हो जाती हैं, हालांकि समीक्षा के लिए अधिक पुल रिक्वेस्ट मिलते हैं।
- मॉडल का चयन (Model choice): एक सस्ता मॉडल जो समान दर पर सत्यापन पास करता है, सीधे लागत बचाता है। इसे जानने का एकमात्र तरीका प्रति योजना लागत और पास दर को ट्रैक करना और एक ही कोडबेस पर विभिन्न मॉडलों की तुलना करना है।
डेवलपर की कच्ची गतिविधि मापने से स्वीकृत आउटपुट मापने की व्यापक दिशा के लिए, देखें इन द लूप, आउट ऑफ द लूप: एजेंटिक इंजीनियरिंग के पीछे KPI बदलाव।
Ivy Tendril इन आंकड़ों को कैसे ट्रैक करता है
Ivy Tendril एक लोकल-फर्स्ट डेस्कटॉप एप्लिकेशन (macOS, Windows, Linux) है जो कोडिंग एजेंटों को योजना से लेकर समीक्षा किए गए पुल रिक्वेस्ट तक संचालित करता है, और यह वर्कफ़्लो चलाने के प्रत्यक्ष परिणाम के रूप में ऊपर दिए गए प्रत्येक मीट्रिक का डेटा स्वचालित रूप से रिकॉर्ड करता है। किसी भी अतिरिक्त उपकरण को अलग से कॉन्फ़िगर करने की आवश्यकता नहीं है।
- Dashboard: Dashboard पूरे जीवनचक्र में योजना की स्थिति, लागत KPI, समय के साथ ट्रेंड चार्ट और कनेक्टेड रिपॉजिटरी के लिए Git गतिविधि प्रदर्शित करता है। योजना की स्थिति से खुले, मर्ज किए गए और अस्वीकृत PR मिलते हैं; Git गतिविधि से वास्तविक मर्ज इतिहास मिलता है।
- प्रति योजना और प्रति कार्य लागत: प्रत्येक योजना और योजना के भीतर प्रत्येक कार्य (job) के लिए टोकन और लागत ट्रैक की जाती है। एक योजना जिसे सत्यापन पास करने से पहले तीन निष्पादन कार्यों की आवश्यकता थी, तीनों को दिखाती है, इसलिए प्रति मर्ज PR लागत में संरचनात्मक रूप से पुनः प्रयास शामिल होते हैं। Jobs सतह प्रत्येक कार्य के स्ट्रीमिंग आउटपुट और टूल कॉल को उसकी लागत के साथ दिखाती है।
- प्रति-एजेंट और प्रति-मॉडल तुलना: Tendril Claude Code, OpenAI Codex CLI, GitHub Copilot CLI, Google Gemini CLI, OpenCode और किसी भी अन्य CLI एजेंट का समर्थन करता है, और एजेंट या मॉडल को प्रति योजना चुना जाता है। इसलिए वर्कफ़्लो बदले बिना एक ही कोडबेस पर विभिन्न मॉडलों में लागत और पास दर की तुलना की जा सकती है।
- स्थानीय डेटा सुरक्षा: योजनाएं, लॉग और लागत रिकॉर्ड आपकी स्थानीय मशीन पर रहते हैं। एकमात्र बाहरी कॉल आपके द्वारा कॉन्फ़िगर किए गए मॉडल API और GitHub पर जाती हैं।
जिन टीमों ने अभी तक Tendril नहीं अपनाया है, उनके लिए Ivy एक मुफ़्त, ओपन-सोर्स PR Cost Calculator प्रदान करता है। यह किसी रिपॉजिटरी के लिए सार्वजनिक GitHub डेटा पढ़ता है और 14-दिवसीय रोलिंग मर्ज किए गए PR और अस्वीकृति दर की गणना करता है, ताकि कोई भी बदलाव करने से पहले टीम अपनी आधार रेखा (baseline) रिकॉर्ड कर सके। इसे आज ही अपने रिपॉजिटरी पर चलाएं, और एजेंट शुरू करने के एक महीने बाद फिर से चलाएं।
शुरुआत कैसे करें
- आधार रेखा प्राप्त करें: अपने मुख्य रिपॉजिटरी पर PR Cost Calculator चलाएं और 14 दिनों के रोलिंग मर्ज किए गए PR और अस्वीकृति दर को रिकॉर्ड करें।
- Tendril इंस्टॉल करें:
curl -sSf https://cdn.ivy.app/install-tendril.sh | sh(macOS, Linux) याirm https://cdn.ivy.app/install-tendril.ps1 | iex(Windows)। दस्तावेज़ इंस्टॉलेशन पर देखें। - दो सप्ताह के लिए योजनाएं चलाएं और Dashboard देखें: मर्ज किए गए, अस्वीकृत, प्रति योजना लागत और रुझान।
- कुल खर्च को मर्ज संख्या से विभाजित करके एक बार हाथ से प्रति मर्ज PR लागत की गणना करें, ताकि यह एक आधिकारिक रिपोर्टिंग मीट्रिक बनने से पहले टीम परिभाषा पर सहमत हो जाए।
Tendril मुफ़्त है और Functional Source License के तहत इसका सोर्स कोड उपलब्ध है। टीम सुविधाएँ, ऑन-प्रिमाइसेस होस्टिंग, SSO और CI सत्यापन आयात Pro ($59 प्रति उपयोगकर्ता प्रति माह) और Enterprise योजनाओं पर उपलब्ध हैं।
अक्सर पूछे जाने वाले प्रश्न
एक अच्छी अस्वीकृति दर क्या है?
कोई सार्वभौमिक लक्ष्य नहीं है, और शून्य की दर का आमतौर पर मतलब है कि किसी भी जोखिम वाले कार्य का प्रयास नहीं किया जा रहा है। समय के साथ अपनी दर को ट्रैक करें और वृद्धि को योजना की गुणवत्ता और सत्यापन की जांच करने के संकेत के रूप में लें, न कि निष्पादन कम करके संख्या घटाने के लक्ष्य के रूप में।
क्या प्रति मर्ज PR लागत में मानव समीक्षा का समय शामिल होना चाहिए?
यदि आप इसे लगातार माप सकते हैं तो इसे शामिल करें। अधिकांश टीमें टोकन या मॉडल खर्च से शुरुआत करती हैं क्योंकि वह स्वचालित रूप से रिकॉर्ड होता है, फिर परिभाषा स्थिर होने के बाद समीक्षक का समय जोड़ती हैं। पद्धति पर सहमत होने से पहले दोनों को मिलाने से महीने-दर-महीने तुलना करना कठिन हो जाता है।
ये मेट्रिक्स DORA मेट्रिक्स से कैसे भिन्न हैं?
वे एक दूसरे से मिलते-जुलते हैं। योजना से मर्ज तक का चक्र समय परिवर्तनों के लीड टाइम (Lead Time for Changes) के करीब है। अस्वीकृति दर का कोई सीधा DORA समकक्ष नहीं है, क्योंकि DORA मानता है कि एक इंसान ने कोड लिखा था और पूछता है कि क्या वह तैनात हुआ। अस्वीकृति दर पूछती है कि क्या परिवर्तन को स्वीकार भी किया गया था, जो कि तब अधिक उपयोगी प्रश्न बन जाता है जब एजेंट कोड प्रस्ताव उत्पन्न करते हैं।
Ivy Tendril के साथ शुरुआत करें
क्या आप डेवलपर-स्तरीय समानांतर एजेंट ऑर्केस्ट्रेशन के लिए तैयार हैं?
- कोड एक्सप्लोर करें: GitHub पर Ivy Tendril देखें (ओपन सोर्स)।
- दस्तावेज़ पढ़ें: tendril.ivy.app पर इंटीग्रेशन गाइड पढ़ें।
- आर्किटेक्चर सत्र शेड्यूल करें: 30 मिनट के तकनीकी परामर्श के लिए renco@ivy.app पर संपर्क करें।