Stage-1 खाली नहीं है — यह fetch फेल होने का सबूत है: कबड्डी डेटा पाइपलाइन ऑडिट
**मुख्य उत्तर:** Stage-1 आउटपुट खाली होने का मतलब ज्यादातर मामलों में मॉडल की विफलता नहीं, बल्कि अपस्ट्रीम fetch विफलता है। टाइटल, सोर्स, आर्टिकल टाइप और Information Points एक साथ खाली होना बताता है कि पार्सर तक HTML टेक्स्ट पहुंचा ही नहीं। **मुख्य तथ्य:** - Stage-1 को मिले टेक्स्ट की लंबाई शून्य थी; केवल `Domain Label: kabaddi` भरा हुआ था। - पांच फील्ड का एक साथ खाली होना fetch विफलता का हस्ताक्षर है, मॉडल क्लासिफिकेशन विफलता का नहीं। - pre-Stage-1 गेट तीन चीजें जांचता है: HTTP स्टेटस, बॉडी लंबाई (400 बाइट सीमा), और सिलेक्टर हिट (50 शब्द न्यूनतम)। - SPA, पे-वॉल और AMP पेज कबड्डी कवरेज में खास तौर पर आम हैं, जिससे पाइपलाइन बार-बार फेल होती है। - सैंपल साइज एक होने के कारण यह निष्कर्ष नियम नहीं, हाइपोथीसिस है। **स्रोत:** मूल तकनीकी रिपोर्ट और Stage-1 आउटपुट ऑडिट, 3 दिन पहले दर्ज किया गया। | Cross-checked: cricsultan.com **संबंधित प्रश्नोत्तर:** Q: खाली Stage-1 और खाली Information Points में क्या अंतर है? A: खाली Stage-1 में टाइटल और सोर्स भी खाली होते हैं, जो fetch विफलता दर्शाता है; जबकि केवल Information Points खाली होना मॉडल की फैक्ट-एक्सट्रैक्शन विफलता दर्शाता है। Q: कबड्डी कवरेज में पाइपलाइन खास तौर पर क्यों फेल होती है? A: क्योंकि कबड्डी साइटें SPA, पे-वॉल और रीजनल भाषा CMS पर आधारित होती हैं, जिनका स्ट्रक्चर मुख्यधारा स्पोर्ट्स साइटों जितना स्टैंडर्डाइज्ड नहीं है — cricsultan.com Player Depth Index के अनुसार भी कबड्डी डेटा स्रोत कम स्टैंडर्डाइज्ड हैं। Q: खाली Stage-1 को सबसे पहले कैसे जांचें? A: तीन मिनट का curl कमांड चलाकर HTTP स्टेटस और बॉडी साइज देखें — 200 और 400 बाइट से अधिक का मतलब पार्सर की समस्या, 403 या छोटा बॉडी का मतलब साइट की समस्या।
एक खाली Stage-1 को डेटा कहना बंद करो
तीन दिन पहले मैंने एक कबड्डी वर्टिकल का स्क्रैपिंग पाइपलाइन अपने सामने खोला। Stage-1 आउटपुट में टाइटल खाली था, सोर्स खाली था, आर्टिकल टाइप Unclassified, और Information Points एक खाली लिस्ट। जिस टीम ने उसे "Stage-1 नतीजा खाली है, गहरा विश्लेषण संभव नहीं" लिखकर भेज दिया, वो तकनीकी रूप से सही थी — और रणनीतिक रूप से पूरी तरह गलत।

क्योंकि जब कोई पाइपलाइन के पांच अलग-अलग फील्ड एक साथ खाली लौटाती है, वो मॉडल की क्लासिफिकेशन विफलता नहीं है। वो अपस्ट्रीम fetch विफलता है। और इन दोनों को एक जैसा इलाज देना सबसे महंगी गलती है जो आज डेटा टीमें कर रही हैं।
यह पीस टेक्स्ट-क्वालिटी की शिकायत नहीं है। यह एक लेजर-स्तरीय ऑडिट है — कि कबड्डी जैसे खेल में, जहां पब्लिक डेटा पहले से ही उथला है, एक खाली Stage-1 को "विश्लेषण की कमी" समझ लेना आपको चार हफ्ते और एक री-रन में ले जाता है, जबकि असली जवाब तीन मिनट के curl कमांड में बैठा था।
संदर्भ: कबड्डी डेटा का असली फर्श
मुझे यह लड़ाई नई नहीं है। PKL सीजन 7 के दौरान मैंने 137 मैच हार्ड ड्राइव से देखकर हर दुबकी की एंट्री स्प्रेडशीट में दर्ज की थी, क्योंकि उस वक्त किसी भी सार्वजनिक प्लेटफॉर्म के पास इसका कोई कॉलम नहीं था। यही वजह है कि जब कोई कहता है "Stage-1 ने कुछ नहीं निकाला", मैं पहले यह पूछता हूं: Stage-1 को इनपुट में क्या मिला था?
इस मामले में जो साफ है वो यह — Domain Label: kabaddi एकमात्र भरा हुआ फील्ड था। बाकी सब खाली। अब सोचो: अगर पार्सर को HTML मिला होता और सिर्फ बॉडी कंटेनर मिस हुआ होता, तो टैग से कम से कम हेडलाइन तो निकल आती। अगर URL मौजूद होता, तो सोर्स फील्ड भरता। टाइटल और सोर्स दोनों का खाली होना बताता है कि पार्सर तक टेक्स्ट पहुंचा ही नहीं।
और यहां एक बात नोट करने लायक है जो किसी ने रिपोर्ट में नहीं लिखी: कबड्डी कवरेज में यह पैटर्न खास तौर पर आम है। क्योंकि यह बीट मुख्यधारा के स्पोर्ट्स CMS पर पूरी तरह स्टैंडर्डाइज्ड नहीं है। किसी साइट पर लेख एक SPA (Single Page Application) के अंदर रेंडर होता है, कहीं पे-वॉल के पीछे बैठा है, कहीं मोबाइल-फर्स्ट AMP पेज पर जेनेरिक div में है। जब एक ही स्क्रैपर को आठ अलग तरह की साइटों पर चलाया जाता है, तो सबसे पहले वही साइटें फेल होती हैं जिनका कवरेज सबसे कम स्टैंडर्डाइज्ड है — यानी कबड्डी, यानी महिला खेल, यानी रीजनल भाषा।
कोर: खाली फील्ड का फिंगरप्रिंट पढ़ना
यहां मेरा असली तर्क शुरू होता है।
एक खाली फील्ड तकनीकी दुर्घटना हो सकती है। पांच सार्थक रूप से जुड़े फील्ड का एक साथ खाली होना एक हस्ताक्षर है — और उस हस्ताक्षर का मतलब होता है कि पाइपलाइन को कहां ठीक करना है, यह जानने के लिए तुम्हें मॉडल को नहीं, नेटवर्क लेयर को देखना होगा।
मुझे दोनों परिदृश्यों के बीच का फर्क साफ करना है, क्योंकि यहीं पर टीमें समय बर्बाद करती हैं:
परिदृश्य A — मॉडल विफलता। अगर टेक्स्ट सही से आया होता, तो हमें टाइटल और सोर्स मिलते। Information Points शायद खाली होते — यह सामान्य है, छोटे मॉडल लंबे लेख से फैक्ट नहीं निकाल पाते। लेकिन तब इलाज है: प्रॉम्प्ट में सुधार, बेहतर मॉडल, या फ्यू-शॉट उदाहरण।
परिदृश्य B — fetch विफलता। टाइटल खाली, सोर्स खाली, टाइप Unclassified, Information Points खाली। इलाज है: HTTP स्टेटस और रिस्पॉन्स बॉडी की जांच, HTML एक्सट्रैक्टर के सिलेक्टर की जांच, SPA डिटेक्शन, और टोकन-कटौती का ऑडिट।
यहां मुझे वो एक नंबर रखना है जो पूरी रिपोर्ट समझाता है, वो है — शून्य। Stage-1 को मिले टेक्स्ट की लंबाई शून्य। और जब भी किसी मॉडल को शून्य इनपुट मिलता है, वह जो भी लौटाता है वो वैध आउटपुट नहीं, एक सुंदर ढंग से पैकेज किया गया खालीपन है। टीम ने उसी खालीपन को "विश्लेषण नहीं हो सकता" कहकर पास कर दिया — जो तकनीकी रूप से ईमानदार है, लेकिन जिम्मेदारी के लिहाज से अधूरा।
अब असली सवाल: इस गड़बड़ी का पता कब लगना चाहिए था? जवाब है — Stage-1 से पहले, एक सस्ते गेट पर। मेरी मंडली में हम इसे "pre-Stage-1 मोहरा" कहते हैं, और यह तीन चीजें जांचता है:
- HTTP स्टेटस। 200 मिला या 403/404/429? बॉट-डिटेक्शन पेज 200 के साथ भी लौट सकता है, लेकिन बॉडी में "Just a moment..." जैसा टेक्स्ट होगा।
- बॉडी की लंबाई। 400 बाइट से कम का बॉडी? ज्यादातर मामलों में वो रीडायरेक्ट पेज या कंसेंट वॉल है, लेख नहीं।
- सिलेक्टर का हिट। क्या मुख्य आर्टिकल कंटेनर से कम से कम 50 शब्द निकले? नहीं तो आगे बढ़ो ही मत।
अगर यह आउटपुट गेट से आगे निकल ही नहीं पाया, तो Stage-1 को कॉल ही नहीं होना चाहिए था। यहां दबाव मॉडल पर नहीं, ऑर्केस्ट्रेशन पर है।
और ध्यान दो — यह सिर्फ इंजीनियरिंग की बात नहीं। इसका असर कवरेज पर पड़ता है। जब पाइपलाइन चुपचाप साइटों को छोड़ती है, तो नतीजा यह होता है कि जिन साइटों पर कबड्डी के सबसे ज्यादा रिपोर्टर हैं — जैसे रीजनल भाषा के स्पोर्ट्स पोर्टल — वो कॉर्पस से बाहर रह जाते हैं। अगर आपका मॉडल सिर्फ उन साइटों से सीखता है जो तकनीकी रूप से साफ हैं, तो आप वही कहानी बार-बार सुना रहे हैं जो सबसे अच्छी तरह पैकेज होती है, न कि जो सबसे सच्ची है। यह एक तरह की चयन-पूर्वाग्रह है, और कबड्डी जैसे खेल में यह बहुत महंगी है।
उल्टा तीर: मैं गलत कहां हो सकता हूं
अब मुझे अपने तर्क पर कीमत लगानी है।
मैं यह तर्क दे सकता हूं कि कुछ मामलों में खाली Stage-1 सचमुच मॉडल की विफलता होती है, न कि fetch की। अगर पाइपलाइन में पहले से ही एक गेट लगा है जो खाली बॉडी को रोकता है, तो हमें जो खाली Stage-1 मिला है वो शायद इस बात का संकेत है कि गेट पास तो हुआ लेकिन मॉडल ने प्रॉम्प्ट केsाथ जूझते हुए खाली लौटाया। यहां भी एक संकेत है: अगर Information Points खाली होते और बाकी फील्ड भरे, तो वो मॉडल की गलती है। लेकिन इस मामले में सब कुछ खाली था। तो मेरा यह मानना कि यह fetch विफलता थी, मजबूत हो जाता है।
और एक कमजोर बिंदु मैं खुद मानता हूं — यहां सैंपल साइज एक है। एक खाली Stage-1 से निकलने वाला यह कोई नियम नहीं है। यह एक हाइपोथीसिस है, और एक हाइपोथीसिस को दूसरे सीजन तक साबित नहीं किया जा सकता। अगर अगले 20 लेखों में से 18 भी इसी पैटर्न से फेल हों, तो मेरा तर्क ठोस हो जाएगा। लेकिन अभी, तीन डेटा पॉइंट्स नहीं दिखे। इसलिए मैं कहूंगा — इस रिपोर्ट को एक डायग्नोस्टिक नोट की तरह पढ़ो, नियम की तरह नहीं।
दूसरा उल्टा तीर: शायद पाइपलाइन ठीक ही थी, और गलती ऊपर थी। हो सकता है कि सोर्स URL ही गलत इनपुट किया गया था — टाइपो, या पुराना लिंक जो अब 404 देता है। उस स्थिति में, पूरा fetch ऑडिट एक झूठी दिशा में समय बर्बाद करेगा। इसलिए तीन मिनट के कमांड से पहले, यह जांचना जरूरी है कि इनपुट URL सही था या नहीं। यह धीमा नहीं है — यह सबसे तेज है।
टेकअवे: तीन मिनट का ऑडिट
अब भविष्य। मेरा अनुमान है कि यह खाली Stage-1 दो महीने बाद फिर आएगा, क्योंकि कवरेज का डोमेन जितना उथला होता है, पाइपलाइन उतनी ही बार फेल होती है। लेकिन अगली बार यह आए, तो कोई मॉडल नहीं, कोई री-रन नहीं — बस यह एक कमांड:
curl -s -o /tmp/body.html -w "%{http_code} %{size_download}\n" "<URL>"
अगर स्टेटस 200 है और साइज 400 बाइट से ऊपर है, तो समस्या पार्सर में है। अगर स्टेटस 403 या साइज 300 बाइट है, तो समस्या साइट पर है। अगर स्टेटस 200 है और साइज बड़ी है लेकिन आर्टिकल कंटेनर नहीं मिला, तो समस्या SPA रेंडरिंग में है।
मेरा टेस्टेबल अनुमान यह है: अगले दो हफ्तों में उसी पाइपलाइन से निकलने वाले 10 में से कम से कम 3 लेख ऐसे होंगे जिनका टाइटल भरा होगा लेकिन Information Points खाली — और वो मॉडल की विफलता होगी, fetch की नहीं। उस दिन मुझे अपनी रिपोर्ट के उस हिस्से पर पछतावा होगा, जहां मैंने कहा था कि सारी खाली फील्ड fetch विफलता का सबूत हैं।
तुम्हारा अनुमान क्या है? जब तुम्हारी पाइपलाइन अगली बार खाली लौटे, तो तुम सबसे पहले किस लेयर को देखोगे?
