ব্লগার সাইটে কিভাবে custom robots.txt ফাইল যোগ করবেন এবং Crawler and Indexing এর সকল মেটা ট্যাগ সেটিং নিয়ে আলোচনা করব। robots.txt blogger meta tags
ব্লগারে কাস্টম robots.txt ফাইল যোগ করা খুব জরুরি। কারণ এর মাধ্যমেই গুগল আপনার পোস্ট ইনডেক্স করে। আপনার ব্লগার ওয়েবসাইট এ যদি ভালো ভাবে robots.txt ফাইল এড না করা থাকে তাহলে আপনার ওয়েবসাইটকে গুগল সার্চে খুজে পেতে অনেক বেগ পেতে হবে। এবং গুগল সার্চ কনসোল ও ভালো ভাবে কাজ করবে না। আজকের এই পোস্টে ব্লগারে সাইটে কিভাবে custom robots.txt ফাইল যোগ করবেন এবং Crawler and Indexing এর সকল সেটিং যেমন - Home page tags, Archive and search page tags, Post and page tags নিয়ে আলোচনা করব যা আপনার সাইটকে গুগল সার্চের মধ্যে আরো সহজে শো করবে।
Robots.txt ফাইল আসলে কি?
Robots.txt হল একটি পাঠ্য ফাইল যা ওয়েবসাইটের মালিকরা তাদের ওয়েবসাইটগুলিতে রাখেন। এটি ওয়েব crawlers এবং স্পাইডারগুলিকে নির্দেশ করে যে কোন পৃষ্ঠাগুলি অনুসন্ধান করা উচিত এবং কোনগুলি অনুসন্ধান করা উচিত নয়। Robots.txt ফাইলগুলি সাধারণত ওয়েবসাইটের মূল ফোল্ডারে থাকে। এটি একটি টেক্সট ফাইল, যা সাধারণত "robots.txt" নামে থাকে। প্রত্যেক সার্চ ইঞ্জিনেরই নিজস্ব ওয়েব রোবট রয়েছে। Robots.txt ফাইল এর মাধ্যমে ঐ রোবটদের নির্দেশ করা হয় যে, আপনার ব্লগ/ওয়েবসাটটি সে Crawl এবং Index করবে কি না। আপনি ইচ্ছে করলে এই Robot.txt ফাইল ব্যবহার করে রোবটকে Crawl এবং Index করার অনুমতি দিতে পারেন আবার নাও দিতে পারেন।
কিভাবে ব্লগারে রোবট টেক্সট যোগ করব?
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.peakfiction.top/atom.xml?redirect=false&start-index=1&max-results=500