Blogger Custom Robots.txt Management. Custom Robots.txt एक विधि है जो गूगल सर्च (Google Search) को यह निर्देशित करती है कि आप अपने ब्लॉग पर किन पेजों को क्राल (Crawl) नहीं करने देना चाहते हैं। क्राल करना यानि आपके ब्लॉग पेज पढ़कर उनको गूगल सर्च में शामिल करना। क्राल करने से रोकने की आखिर आवश्यकता क्या है? ब्लॉगर पर सर्च विकल्प और लेबल एक दूसरे से सम्बद्ध हैं यदि आप ब्लॉग पर लेबल को समझदारी से प्रयोग नहीं करते हैं तो अच्छा यह है आप इनको गूगल के सर्च परिणामों में शामिल न होने दें। गूगल के Default Robots.txt में लेबल को सर्च परिणामों को रोका जाता है ताकि आपके 25 नये लेख ठीक प्रकार से सर्च परिणामों में अपनी जगह सरलता से बना लें। लेबल (Label) क्या हैं? लेबल को आप किसी विधा के रूप में समझ सकते हैं जैसे गद्य और पद्य, अर्थात् यदि आप लेखक हैं तो आपके ब्लॉग पर कहानी की पोस्ट का लेबल गद्य होगा और यदि कविता है तो पद्य। इसी प्रकार से कहानी रोमांटिक (Romantic) है या कि ससपैंस (Suspense) यह भी लेबल हो सकते हैं लेकिन कुछ नये ब्लॉगर लेबल बनाने की समझ नहीं रखते हैं और पोस्ट का कुछ भी लेबल रख देते हैं जिससे गूगल सर्च बॉट (Google search bot) उसे समझ नहीं पाता और गूगल सर्च परिणामों में आपको नीचे ढकेल देता है। तो इससे बेहतर है कि आप robots.txt में अपने सर्च और और लेबल विकल्प को बंद ही रहने दें और गूगल के डिफ़ॉल्ट robots.txt का प्रयोग करें। robots.txt का प्रयोग करने में बहुत समझदारी बरतनी चाहिए। ताकि आपका ब्लॉग सर्च परिणामों में एकदम नीचे न चला जायें। यदि आप चाहते हैं कि गूगल आपके ब्लॉग की पहली 25 पोस्टों पर अधिक ध्यान दें तो आपको नीचे दिये कोड का प्रयोग करें इसमें गूगल ऐडसेंस बॉट (Google AdSense bot) को भी आपके ब्लॉग पर कंटेंट क्राल (Content Crawl) करके बेहतर विज्ञापन दिखाने का निर्देश सम्मिलित है।
Robots.txt Type 1
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: http://www.example.com/sitemap.xml
नये ब्लॉगर साइटमैप के चलते सभी ब्लॉग पोस्टें सर्च में आ जाती हैं इसलिए पुराने जुगाड़ करने का कोई औचित्य नहीं रह जाता है किंतु अगर आप फिर भी चाहते हैं तो आगे पुराना जुगाड़ दिया जा रहा है –
यदि आप चाहते हैं कि गूगल आपके ब्लॉग की प्रकाशन तिथि के अनुसार अधिकतम 1000 पोस्टों को सर्च परिणामों में शामिल करें तो आपको नीचे दिये कोड का प्रयोग करें इसमें गूगल ऐडसेंस बॉट को भी आपके ब्लॉग पर कंटेंट क्राल करके बेहतर विज्ञापन दिखाने का निर्देश सम्मिलित है।
Robots.txt Type 2
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: http://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: http://www.example.com/atom.xml?redirect=false&start-index=501&max-results=500
यदि आपको को SEO और इंटरनेट तकनीक का अच्छा अनुभव है और आप अपने ब्लॉग पर लेबल को अच्छे ढंग से प्रबंधित करते आयें हैं तो उपरोक्त दोनों robots.txt में से आप Disallow: /search वाली पंक्ति निकाल सकते हैं|
1. robots.txt प्रयोग करने से पूर्व साइटमैप (Sitemap) में www.example.com को अपने ब्लॉग यू.आर.एल.(URL) से बदलना मत भूलिए।
2. Robots.txt Type 1 या Robots.txt Type 2 के मध्य चुनाव बड़ी सावधानी से करना चाहिए और Disallow: /search पंक्ति को समझ-बूझकर हटाना चाहिए। मन में कोई दुविधा हो तो Type 1 का ही प्रयोग करें।
ब्लॉगर के नये इंटरफ़ेस पर robots.txt को कैसे लागू करते हैं – Manage Blogger Custom robots.txt
इस प्रक्रिया में आप निम्न चरण पूरे करिए –
Dashboard ›› Blog’s Settings ›› Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
आप उपरोक्त सेटिंग को नीचे संलग्न चित्र (Attached image) से भी समझ सकते हैं
Image: How to manage Blogger custom robots.txt?
आशा करता हूँ यह पोस्ट आप सभी को अपने ब्लॉग को बेहतर बनाने में योगदान देगी।
ब्लॉगर का SEO कैसे करें इसकी अधिक जानकारी के लिए यहाँ क्लिक करें।
Keywords: blogger seo, custom robots.txt, blogger robots.txt, custom robots header tags, blogspot seo, search engine optimization, robots.txt