robot.txt

در این مقاله قصد داریم درباره ی مبحث  robot.txt  که در حوزه ی سئو تکنیکال بسیار بااهمیت است ،بپردازیم. کاربرد این ابزار برای معرفی و چگونگی چینش صفحات سایت به ربات های موتور جستجوی گوگل است.

همانطور که می دانید، ربات های موتور های جستجو نقش پررنگی در معرفی کامل یک سایت به موتور های جستجو ایفا می کنند . در واقع گوگل گسترده ترین شبکه و مرجع بزرگی در این حوزه است که ربات های اختصاصی و عمومی زیادی دارد .بنابراین طراحان سایت برای جذب بازدید کننده بیشتر ترافیک دریافتی و کسب درآمد از وب سایت همواره تغییرات و عملکرد این ربات ها را دنبال می کنند و طبق استانداردهای آنان جلو می روند .و این فرایند نیازمند کنترل ورود موتور های جستجو به سایت است که از طریق فایل robot.txt  این مهم امکان پذیر است.

Robot.txt چیست؟

Robot.txt یک فایل متنی است که طبق دستوراتی که در آن وارد می کنید، به ربات ها مجوز می دهد صفحات ، فایل ها وفولدرهایی که  مورد نظر شماست در سایت بررسی وایندکس شود و ازایندکس شدن صفحات نا مربوط ،ایجاد تاثیر منفی در سئوی سایت و افزایش امنیت در برابر حملات احتمالی جلو گیری کنید.این فایل را می توانید در هر ویرایشگری ایجاد کرده و با فرمت txt ذخیره کنید و محل قرار گیری فایل robot.txt در مسیر اصلی سایت که همان هاست وسرور شماست در فولدر public.Html  است .زمانی که شما بعد ازآدرس سایت خود نام این فایل را وارد می کنید فایل در دسترس شما قرار می گیرد.

مثال:www.yoursite.ir/robots.txt

این فایل قابل دسترسی و ویرایش است، شما با تنظیم صحیح و بهینه سازی این فایل می توانید رتبه ی سایت را به طور چشمگیری افزایش دهید.

روش عملکرد Robot.txt

موتور های جستجو قبل از بررسی صفحات سایت ابتدا فایل robot.txt را خوانده و طبق دستوراتی که در این فایل برای دسترسی به صفحات و فایل های مورد نظرتان برای این موتورهای جستجو تعریف کرده اید، شروع به ایندکس می کند.

نحوه ی ساخت فایل robot.txt

ابتدا از عدم تکرار چنین فایلی در سرور سایت خود اطمینان حاصل کنید که قبلا فایل ساخته نشده باشد.برای اطلاع ازتکراری نبودن فایل، آدرس سایت خود را وارد کنید و در آخرنام فایل /robot.txt را تایپ کنید.اگر صفحه باز شده با خطا همراه بود به این معنی است که سایت شما این فایل را ندارد.

برای ایجاد این فایل به کنترل پنل هاست وارد شده در بخش root سایت یک فایل ساده ایجاد کنید ونام آن را robot.txt بگذارید. اگربعد از وارد شدن، با صفحه ای  با کدهای User-agent و … رو به رو شدید، یعنی در سایت این فایل وجود دارد. در این صورت باید توسط ابزاری به نام  FTP و یا کنترل پنل هاست سایت، به قسمت مدیریت فایل بروید و در root اصلی هاست فایل robots.txt را  بیابید وآن را با یک ویرایشگر آنلاین اجرا و ویرایش کنید.می توانید به صورت جداگانه این فایل را دانلودکرده ودر محیط رایانه ی خود ویرایش کنید سپس آن را با فایل قبلی در root جایگزین کنید.

مبحث فایل robot.txt موضوع پیچیده و زمان بری نیست اما  وجود چنین فایلی برای بهینه سازی و افزایش رتبه ی سایت بسیار مهم است نکته ای که به عنوان هشدار درمورد این فایل مطرح می شود به روز رسانی فایل به طور مستمر است که باعث کند شدن دسترسی ربات های موتورجستجو به صفحات سایت است.

 

بهینه سازی موتورهای جستوجوگر