नई दिल्ली। आर्टिफिशियल इंटेलिजेंस (AI) के बढ़ते इस्तेमाल ने इंटरनेट की दुनिया में एक नई तरह की जंग छेड़ दी है। AI टूल्स वेबसाइटों से बड़ी मात्रा में जानकारी जुटाकर यूजर्स को सीधे जवाब दे रहे हैं। इससे लोगों का वेबसाइटों पर जाना कम हो रहा है। नतीजतन, कई प्रमुख वेबसाइटें अब AI क्रॉलर्स को अपने कंटेंट तक पहुंचने से रोकने लगी हैं।
करीब तीन दशक से इंटरनेट पर एक अनौपचारिक व्यवस्था चल रही थी। सर्च इंजन वेबसाइटों की सामग्री को क्रॉल कर अपने परिणामों में लिंक दिखाते थे और बदले में वेबसाइटों को यूजर्स का ट्रैफिक मिलता था। AI के दौर में यह व्यवस्था बदल रही है। AI टूल्स वेबसाइटों से जानकारी लेकर सीधे उत्तर तैयार कर देते हैं, जिससे यूजर को मूल वेबसाइट खोलने की जरूरत कम पड़ती है।
AI आधारित सारांश आने पर वेबसाइटों पर क्लिक घटने के संकेत मिल रहे हैं। एक अध्ययन में पाया गया कि जब गूगल सर्च में AI सारांश दिखाई देता है तो पारंपरिक सर्च परिणामों पर क्लिक करने की दर 15 प्रतिशत से घटकर करीब 8 प्रतिशत रह जाती है। इससे विज्ञापन, सब्सक्रिप्शन और रेफरल ट्रैफिक पर निर्भर वेबसाइटों के कारोबार पर असर पड़ सकता है।
वहीं, AI क्रॉलर्स वेबसाइटों के सर्वर पर अतिरिक्त लोड भी डालते हैं। वे बड़ी संख्या में पेज पढ़ते और दोबारा क्रॉल करते हैं, लेकिन इसके बदले वेबसाइट को मानव विजिटर या उसी अनुपात में रेफरल ट्रैफिक नहीं मिलता।
स्थिति से परेशान कई प्रतिष्ठित प्रकाशकों ने AI क्रॉलर्स के लिए अपनी नीतियां सख्त कर दी हैं। कुछ वेबसाइटें अब पहले सभी बॉट्स को अनुमति देने के बजाय डिफॉल्ट रूप से उन्हें रोक रही हैं और केवल चुने हुए क्रॉलर्स को ही कंटेंट तक पहुंच दे रही हैं। इसका उद्देश्य अपने कंटेंट पर नियंत्रण बनाए रखना और AI कंपनियों से उचित लाइसेंसिंग या भुगतान की संभावना पैदा करना है।
वेबसाइटें robots.txt जैसी व्यवस्था का इस्तेमाल कर AI क्रॉलर्स को रोक सकती हैं। हालांकि यह व्यवस्था स्वैच्छिक है और हर ऑटोमेटेड बॉट इसका पालन करे, यह जरूरी नहीं है।
विशेषज्ञों के अनुसार, अगर अच्छी और विश्वसनीय वेबसाइटें AI क्रॉलर्स को लगातार ब्लॉक करती रहीं तो AI सिस्टम के पास उच्च गुणवत्ता वाले स्रोतों की उपलब्धता घट सकती है। ऐसे में AI जवाबों में कम विश्वसनीय या AI से तैयार सामग्री का हिस्सा बढ़ने का खतरा है। एक अध्ययन में जनरेटिव AI सर्च के करीब 16 प्रतिशत उद्धृत स्रोत खुद AI से तैयार वेबसाइटें पाए गए।
इस समस्या के समाधान के लिए ‘पे-पर-क्रॉल’ और कंटेंट लाइसेंसिंग जैसे मॉडल पर चर्चा हो रही है। इसके तहत AI कंपनियां वेबसाइटों के कंटेंट का इस्तेमाल करने के बदले प्रकाशकों को भुगतान कर सकती हैं। हालांकि, यह मॉडल अभी व्यापक रूप से स्वीकार नहीं हुआ है।
AI और वेबसाइटों के बीच यह टकराव आने वाले समय में इंटरनेट के कारोबारी मॉडल को बदल सकता है। सवाल अब सिर्फ यह नहीं है कि AI को जानकारी कहां से मिलेगी, बल्कि यह भी है कि उस जानकारी को तैयार करने वाली वेबसाइटों को उसका उचित आर्थिक लाभ कैसे मिलेगा।
