ব্লগার সাইটে কিভাবে custom robots.txt ফাইল যোগ করবেন এবং Crawler and Indexing এর সকল মেটা ট্যাগ সেটিং নিয়ে আলোচনা করব। robots.txt blogger meta tags

ব্লগারে কাস্টম robots.txt ফাইল যোগ করা খুব জরুরি। কারণ এর মাধ্যমেই গুগল আপনার পোস্ট ইনডেক্স করে। আপনার ব্লগার ওয়েবসাইট এ যদি ভালো ভাবে robots.txt ফাইল এড না করা থাকে তাহলে আপনার ওয়েবসাইটকে গুগল সার্চে খুজে পেতে অনেক বেগ পেতে হবে। এবং গুগল সার্চ কনসোল ও ভালো ভাবে কাজ করবে না। আজকের এই পোস্টে ব্লগারে সাইটে কিভাবে custom robots.txt ফাইল যোগ করবেন এবং Crawler and Indexing এর সকল সেটিং যেমন - Home page tags, Archive and search page tags, Post and page tags নিয়ে আলোচনা করব যা আপনার সাইটকে গুগল সার্চের মধ্যে আরো সহজে শো করবে।

ব্লগারে কিভাবে custom robots.txt ফাইল যোগ করবেন? How to add custom Robots.txt file in Blogger - Peak Fiction

Robots.txt ফাইল আসলে কি?

Robots.txt হল একটি পাঠ্য ফাইল যা ওয়েবসাইটের মালিকরা তাদের ওয়েবসাইটগুলিতে রাখেন। এটি ওয়েব crawlers এবং স্পাইডারগুলিকে নির্দেশ করে যে কোন পৃষ্ঠাগুলি অনুসন্ধান করা উচিত এবং কোনগুলি অনুসন্ধান করা উচিত নয়। Robots.txt ফাইলগুলি সাধারণত ওয়েবসাইটের মূল ফোল্ডারে থাকে। এটি একটি টেক্সট ফাইল, যা সাধারণত "robots.txt" নামে থাকে। প্রত্যেক সার্চ ইঞ্জিনেরই নিজস্ব ওয়েব রোবট রয়েছে। Robots.txt ফাইল এর মাধ্যমে ঐ রোবটদের নির্দেশ করা হয় যে, আপনার ব্লগ/ওয়েবসাটটি সে Crawl এবং Index করবে কি না। আপনি ইচ্ছে করলে এই Robot.txt ফাইল ব্যবহার করে রোবটকে Crawl এবং Index করার অনুমতি দিতে পারেন আবার নাও দিতে পারেন। 

কিভাবে ব্লগারে রোবট টেক্সট যোগ করব?

এই সেটিং গুলো গুরত্বপুর্ন তাই ভালো ভাবে পড়ে তার পর সেই অনুযায়ী কাজ করবেন। কোনো জিজ্ঞাসা থাকলে কমেন্ট করে জানাবেন।
স্টেপ ১: প্রথমে আপনার ব্লগার ওয়েবসাইট এ লগ ইন করুন।
স্টেপ ২: ড্যাশবোর্ড থেকে সেটিং অপশন এ চলে যান।
স্টেপ ৩: সেটিং এর একদম শেষ দিকে দেখতে পারবেন "Crawlers and indexing" নামে একটি অপশন রয়েছে।
স্টেপ ৪: সেখান থেকে প্রথমে Enable custom robots.txt অপশন টি অফ থাকলে অন করে দিন।
স্টেপ ৫: Custom robots.txt এর জায়গায় নীচের কোডটি পেস্ট করে দিন। এবং এইখানে ওয়েবসাইট এর জায়গায় নিজের ওয়েবসাইট এর লিঙ্ক দিবেন।
User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.peakfiction.top/atom.xml?redirect=false&start-index=1&max-results=500
স্টেপ ৬: Enable custom robots header tags অন করে দিন।
স্টেপ ৭: Home page tags এর জায়গায় all এবং noodp অন করে দিন এবং বাকি সব অফ থাকবে।
স্টেপ ৮: Archive and search page tags এর জায়গায় noindex এবং noodp অন থাকবে। বাকি সব অফ করে দিন।
স্টেপ ৯: Post and page tags এর মধ্যে all এবং noodp অন থাকবে। বাকি সব অফ করে দিন।
এই আপনার কাজ শেষ। এইভাবেই আপনি আপনার ব্লগার ওয়েবসাইট এর জন্য কাস্টম robots.txt ফাইল এবং সকল মেটা ট্যাগস এড করে ফেলেছেন। এখন আপনার কাজ হবে গুগল সার্চ কনসোল এ আপনার ওয়েবসাইট এড করা।