आज हमलोग इस Post में Blogger से संबंधित एक और महत्वपूर्ण टॉपिक के बारे में जानने जा रहे हैं और वह यह है कि Robots.txt File kya hai? और इस Custom Robots.txt File Ko Blogger Me Kaise Add Kare?
robots.txt file एक robot की तरह होता है जैसा कि इसके नाम से ही जाहीर हो रहा है | जब आप अपने blog में कुछ update करते है वह सारा update search engine में show होने लगता है तो उस स्थिति में इस robots.txt file कि मदद से हम non-importance webpage को crawl करने से रोकने के लिए इसका इस्तेमाल करते है |
इसके बारे में अधिक जानने के लिए इस आर्टिकल को ध्यान से पूरा पढ़े क्योंकि आपको यह जानना बहुत ही जरूरी है कि robots.txt file क्या है? और यह file आपके ब्लॉग वेबसाइट के लिए कितना important है |
Robots.txt Kya Hai
Robots.txt कुछ simple code वाला एक text file होता है | इसे आसान भाषा में समझने की कोशिश करें तो यह एक रोबोट की तरह होता है और इसका सीधा संपर्क आपके blog की indexing और crawl rate से जुड़ा हुआ होता है |
Internet पर जितने भी सारे search engine है उसके खुद के robots या bots होते हैं जो कि आपके ब्लॉग और उसमें दी गई links को जब crawl करता है तब उस समय यह file उसे direction देने में काम करती हैं |
Mainly इस file की मदद से आप web crawlers को यह instruction देते हो कि आपके blog में से किस page को crawl करके index करना है और किसको नहीं, कुल मिलाकर कहें तो इस robots.txt file का use हम blogger में इसलिए करते है ताकि इसकी help से importance webpages को crawl करके index करा सकें और कुछ non-importance webpages जैसे Demo Page, Lebels, Archive, Comments etc को crawl करने से रोक सकें |
By default Blogger का robots.txt file कुछ इस तरह का दिखता है जैसा कि आप नीचे screenshot में देख सकते है |
अगर आप भी अपने ब्लॉग के custom robots.txt file को चेक करना चाहते है तो आप अपने blog के Homepage के URL के बाद slash (/) देकर robots.txt type करके Enter press करें|
Robots.txt File कैसे काम करता है?
robots.txt एक तरह की text file होती है या फिर यूं कहें कि इसमें आप किसी भी search engine को यह बताते हैं कि आपके blog में से किस part को crawl यानी index करना है और किस part को नहीं |
जब कोई भी users किसी topics से related किसी search engine में search करता है तो उस समय search engine हमारी वेबसाइट पर आता है और हमारी blog की robots.txt file को scan करता है, जिससे उसे यह पता चल जाता है कि आपने किसे Allow और किसे Disallow करके रखा है |
बस से उसी हिसाब से उसे फॉलो करता है और काम करना शुरू कर देता है ताकि उसे crawl करने में किसी भी तरह का कोई दिक्कत ना हो सके और वह अपने search engine में इसे दिखा सकें | तो दोस्तों इस तरह से आपकी blog की robots.txt file आपकी website की privacy की security को छुपा कर रखता है |
Blog के लिए Robots.txt File कैसे बनाए?
robots.txt file generate करने ले लिए सबसे पहले आप गूगल में जाकर new tab ओपन कीजिए | यहाँ आपको search bar में टाइप करना है “Generate Blogger Sitemap” सबसे ऊपर में जो वेबसाइट आएगा उसे ओपन कीजिए |
1. यहाँ आप अपने blog का पूरा address http:/ or https:/ के साथ डाले |
जैसे कि :- http://www.techifyideas.blogspot.com हो या फिर https://www.techifyideas.com हो, जो भी आपका URL है उसे यहाँ paste कीजिए |
2. उसके के बाद Generate Sitemap पर click करें |
उसके बाद यहाँ एक code generate होकर आ जाएगा इसमें आपको User-agent: Media partners – Google के साथ जितना भी नीचे text होगा उन सभी को copy कर लेना है जैसे कि आप नीचे code बॉक्स में देख सकते है |
नोट- आप चाहें तो इस code को भी copy कर सकते बस आपको यहाँ हमारे URL (https://www.techifyideas.com) की जगह आपको अपनी वेबसाइट की URL को डालना है |
इस code को copy करने के लिए इस code में कहीं भी click करके इस code ऊपर में copy करने का बटन आएगा उस पर क्लिक करके code को copy कर सकते है |
User-agent: Media partners - Google Disallow User-agent: * Disallow: /search Allow: / Sitemap: https://www.techifyideas.com/atom.xml?redirect=false&start-index=1&max-results=500
लेकिन उससे पहले आपको इसमें दिए गए meaning के काम बारे में अवश्य जानना चाहिए |
1. User-agent: Media partners – Google
अगर आप Google Adsense का use करते हैं तो इसकी help से आप अपने google adsense code को Disallow करके छुपा सकते हैं, यदि आप गूगल ऐडसेंस का यूज नहीं कर रहे हैं तो यह फिलहाल आपके काम का नहीं है |
2. User – agent:
इसका use करके हम अपने website में user को अपने हिसाब से जो भी दिखाना चाहे वह दिखा सकते और जो नहीं दिखाना चाहे उसे नहीं दिखा सकते हैं | आप हमेशा इसे Disallow करके ही रखें जिससे आपकी blog की security बनी रहे|
3. * (Star)
यहाँ *(star) का मतलब है कि आपने Google,Yahoo,Bing जैसे सभी search engine के लिए allow किया हुआ है ताकि वह आपके blog की robots.txt file को read कर सके | इसमें जैसा है बस वैसा ही रहने दे इसमें आपको कुछ भी छेड़छाड़ नहीं करना हैं|
4. Disallow/Search
यह code आपकी website के Keywords के लिए होता अगर आप अपनी blog की keywords को नहीं दिखाना चाहते हैं तो इसे हमेशा Disallow ही रहने दें ताकि search engine इसे crawl नहीं कर सकें | यहाँ आप अपनी website के किसी भी post, page, keyword का URL डालकर Disallow कर सकते हैं |
Ex – https://www.techifyideas.com/Search/Label/Blogging
5. Allow/
यहाँ पर आप अपने user को search engine के माध्यम से जो भी दिखाना चाहे वो यहाँ सेट कर सकते हैं | आप इसे allow ही रहने दें तो ही अच्छा रहेगा |
6. Sitemap
Sitemap search engine को हमारे blog की सारी पुरानी और न्यू post के बारे में जानकारी देता है, जब भी web crawler हमारे blog की robots.txt file को scanning करने के लिए आता है तो उस समय उसे sitemap की मदद से हमारे blog पर published किए गए सारी post की जानकारी उसे मिल जाता है |
इन्हें भी पढ़े –
☛ How To Remove URL ?m=1 In Blogger In Hindi.
☛ Blog Post Me Code Box Kaise Lagaye?
Robots.txt File Ko Blog Me Kaise Add Kare
Step 1.
Blogger में robots.txt file को add करने के लिए सबसे पहले आप blogger में जाकर login करके अपनेे blog के Dashboard में आ जाएं |
1. अब Blog की settings में जाइए |
2. Scroll करते हुए नीचे आना है और यहाँ आपको Crawlers and indexing वाले options को find करना है |
3. जैसा कि आप ऊपर image में देख सकते है आपको इन दोनों options को Enable करना है |
Step 2.
1. Custom robots.txt वाले options पर click करने के बाद आपके सामने एक Popup open होगा |
2. जो अपने अपने blog के robots.txt file generate किया था उस कोड को copy कर लीजिए या फिर हमारे द्वारा दिए गए ऊपर में code box से इस robots.txt file के text को copy कर लीजिये, बस आपको यहाँ अपने blog के URL को डालना है |
3. Code को copy कर लेने के बाद इस खाली वाले option में paste कर दीजिए |
4. अब आपको Save वाले option पर click सेव कर देना है |
इन्हें भी पढ़े –
☛ Blog Me Social Media Follow Button Kaise Add Kare?
☛ Blogger Ki Har Post Me Author Profile Box Kaise Lagaye
Step 3.
इनमें तीन और options है, उन्हें भी हम settings कर लेते है |
1. Home page tags वाले options पर click करके all और noodp वाले options को enable करके save करें |
2. Archive and search page tags वाले options पर click करके noindex और noodp वाले options को enable करके save करें |
3. Post and page tags वाले options पर click करके all और noodp वाले options को enable करके save करें |
अब आपके blog में robots.txt file एवं उससे related सारी settings हो चुकी है | अब आप इस robots.txt file में जो भी allow करेंगे वही search engine दिखाएगा |
Conclusion
आशा करते हैं कि आपको हमारी यह पोस्ट Custom Robots.txt File Ko Blogger Me Kaise Add Kare? जरूर पसंद आई होगी एवं इसके साथ ही आपको Robots.txt File kya hai? इसके बारे में भी सारी जानकारी आपको हमारे इस post के माध्यम से मिल गई होगी तो इस post को अपने दोस्तों में share जरूर कीजिए |
custom robots txt file ko blogger me add kaise kare online step bye Step आपको कैसी लगी हमें comment box में जरूर बताएं एवं इस पोस्ट पर आपकी क्या विचार है? क्या इसमें मुझसे कोई Step छुट गयी है या फिर कोई error हो तो भी आप हमें comment box में बता सकते है, मैं पूरी कोशिश करूँगा की मैं आपके सवालों का जवाब जल्द से जल्द दें सकूँ |
आगे भी ऐसी ही महत्वपूर्ण जानकारी प्राप्त करने के लिए बने रहे Techify ideas पर, धन्यवाद!
