robots.txt

اموزش ساخت فایل robots.txt و تاثیر ان در سئو

یکی از اولین مواردی که هنگام کار بر روی سئوی تکنیکال باید ان را بررسی و بهینه سازی کنید ، فایل robots.txt است. یک مشکل یا پیکربندی غلط در robots.txt شما می تواند باعث مشکلات زیادی در SEO شود که می تواند بر رتبه و ترافیک شما تأثیر منفی بگذارد.

در این پست خواهید آموخت که یک فایل robots.txt چیست ، چرا به آن احتیاج دارید ، چگونه با استفاده از این فایل SEO را بهینه کنید.

فایل robots.txt چیست؟

فایل robots.txt بخشی از هر وب سایت اینترنتی است ، اما اکثر مردم حتی از آن چیزی نمی دانند.روش های زیادی برای تقویت SEO وجود دارد که مشکل یا وقت گیر نیستند ، و این یکی از آنهاست.

یک پرونده robots.txt به موتورهای جستجو می گوید چگونه صفحات سایت را ایندکس کنند. زیرا ، به موتورهای جستجو در فهرست بندی مطالب شما کمک می کند. شما می توانید به خزنده های موتورهای جستجو اجازه دسترسی به بعضی از صفحات سایت را ندهید. موتورهای جستجو قبل از خزیدن سایت شما به دنبال یک پرونده robots.txt می گردند تا ببینند راهنمایی وجود دارد یا خیر.

یک فایل robots.txt زبان خاص خود را دارد. در اینجا برخی از اصطلاحات اصلی که مشاهده خواهید کرد و منظور آنها چیست

  • User-agent: نوع خزنده را مشخص می کند.
  • Disallow: به موتور جستجو می گوید که نشانی اینترنتی که در این قسمت قرار می گیرد را دسترسی به خزنذه ها ندهد.
  • Allow: به موتور جستجو می گوید که می تواند به ابن صفحه دسترسی پیدا کند.

چرا پرونده robots.txt مهم است

why robots.txt important

اول ، اجازه دهید نگاهی بیندازیم که چرا پرونده robots.txt در وهله اول اهمیت دارد.

بیایید بگوییم موتور جستجو قصد بازدید از یک سایت را دارد. قبل از بازدید از صفحه هدف ، robots.txt را برای دستورالعمل بررسی می کند.

انواع مختلفی از پرونده های robots.txt وجود دارد ، بنابراین بیایید به چند نمونه مختلف از آنچه که آنها نگاه می کنیم نگاهی بیندازیم
user-agent-robots.txtاین ساختار یک پرونده robots.txt است. کد های بالا به این معنی است که پرونده robots.txt برای همه روبات های وب که از سایت بازدید می کنند دسترسی می دهد.

شاید تعجب کنید که چرا کسی باید از ورود روبات های به وب سایت جلوگیری کند.

از این گذشته ، یکی از مهمترین اهداف SEO این است که موتورهای جستجوگر به راحتی بتوانند سایت شما را بررسی کنند تا صفحات شما ایندکس شده و در نتایج دیده شوند.

اینجاست که اهمیت این فایل را درک می کنید.

احتمالاً صفحات زیادی در سایت خود دارید ، درست است؟

اگر خزنده های موتورهای جستجو بخواهند تمام سایت شما را بررسی کنند ، و شما صفحات زیادی را داشته باشید می تواند  اثرات منفی برای سایت شما به همراه داشته باشد.

به همین دلیل است که Googlebot (خزنده موتور جستجوگر Google) بودجه خزیدن دارد.

در اصل ، بودجه خزیدن “تعداد URL هایی است که در بازه زمانی مشخصی Googlebot می تواند بررسی کند.”

شما می خواهید به Googlebot کمک کنید بودجه خزیدن در بهینه ترین حالت  برای سایت شما استفاده شود. به عبارت دیگر ، باید ارزشمندترین صفحات شما را بررسی کرده و ایندکس کند.

برخی از عوامل وجود دارد که به گفته گوگل ، “بر روی خزنده هاهنگام خزیدن در سایت تأثیر منفی خواهد گذاشت.”

بیایید به بررسی ربات ها برگردیم.

اگر فایل روبا مناسبی را ایجاد کنید ، می توانید ربات های موتور جستجو (و به خصوص Googlebot) را برای جلوگیری از دسترسی به صفحاتی که نمی خواهید توسط خزنده ها دیده شود را بگیرید.

نحوه ایجاد پرونده robots.txt

برای ایجاد فایل ابتدا شما باید وارد پنل مدیریت سی پنل و یا دایرکت ادمین شوید و بر روی file manager کلیک می کنید

Enter the file manager

و بعد از این که وارد فایل منیجر شدید بر روی public-html کلیک کنید. در این قسمت در نوار بالا گزینه ای به نام file وجود دارد بر روی ان کلیک کنید.

creat-sitemap-public-html

حالا شما باید نام ان را robots.txt قرار دهید.بعد بر روی creat new file کلیک کنید.

بهینه سازی robots.txt برای سئو

why robots.txt important

حالا بعد از اینکه شما فایل را ساختیید ان را بهینه سازی کنید. نحوه بهینه سازی robots.txt همه به محتوای شما در سایت شما بستگی دارد.

یکی از بهترین استفاده های پرونده robots.txt برای به حداکثر رساندن بودجه خزیدن موتور های جستجوی است.

به عنوان مثال ، اگر به سایت (sokanweb.com) به پرونده robots.txt مراجعه کنید ، خواهید دید که صفحه ورود
(wp-admin) را غیرفعال کرده ایم.
disalliow&allow-robots.txtاز آنجایی که این صفحه فقط برای ورود به پنل سایت استفاده می شود ، منطقی نیست که ربات های موتورهای جستجو وقت خود را برای خزیدن در آن تلف کنند.

راستی اگر می خواهید فایل های robots.txt سایت ها را مشاهده کنید باید اسم دامنه را وارد کنید مانند شکل پایین
check-robots.txtبه جای example.com اسم دامنه را وارد کنید.

نتیجه گیری 

با تنظیم پرونده robots.txt خود به روشی صحیح ، شما فقط سئوی SEO خود را ارتقا نمی دهید. شما همچنین به بازدید کنندگان خود کمک می کنید.

اگر ربات های موتور جستجو بتوانند بودجه خزیدن خود را بهینه تر خرج کنند ، آنها محتوای شما را سریع تر در نتایج ها نمایش می دهند.

همچنین برای تنظیم پرونده robots.txt شما کار پیچیده ای انجام نمی دهید.

امیدوارم این مقاله برایتان مفید بوده باشد سوالات خود را در بخش کامنت از ما بپرسید

0 پاسخ

پاسخ دهید

میخواهید به بحث بپیوندید؟
مشارکت رایگان.

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

برای امنیت ، استفاده از سرویس کپتچا گوگل مورد نیاز گوگل استسیاست حفظ حریم خصوصی و شرایط استفاده.

Iبا این شرایط موافقید.