بهینه سازی فایل robots.txt

اصول بهینه سازی فایل robots.txt

robots.txt یک فایل در ریشه سایت شما است که نشان می دهد که کدام بخش از سایت را نمی خواهید توسط خزنده موتور جستجو دسترسی پیدا کند. این پرونده با استفاده از استاندارد خروج از ربات ها، یک پروتکل با مجموعه ای از دستورات است که می تواند برای نشان دادن دسترسی به سایت شما بر اساس بخش و با انواع خاصی از خزنده های وب (مانند خزنده های موبایل و خزنده های دسکتاپ) استفاده شود.

robots.txt برای چیست؟

فایل های غیر تصویری

robots.txt برای فایلهای غیر تصویری (یعنی صفحات وب) و برای کنترل ترافیک خزنده استفاده می شود، به طور معمول، شما نمی خواهید صفحات غیر ضروری یا سئو نشده میزان ترافیک خزنده های گوگل را بگیرید و به این ترتیب زمانی برای بررسی صفحات اصلی شما نماند. شما نباید از robots.txt به عنوان وسیله ای برای مخفی کردن صفحات وب خود از نتایج جستجوی Google استفاده کنید. این به این دلیل است که صفحات دیگر ممکن است به صفحه شما اشاره کنند و صفحه شما می تواند به این روش ایندکس شود و از فایل robots.txt اجتناب شود. اگر می خواهید صفحه خود را از نتایج جستجو مسدود کنید، از یک روش دیگر مانند حفاظت از رمز عبور یا برچسب های noindex یا دستورالعمل استفاده کنید.

فایل های عکس

robots.txt می تواند از دسترسی به فایل های تصویری از نتایج جستجوی Google جلوگیری کند. (با این وجود دیگر صفحات یا کاربران از پیوند دادن به تصویر شما جلوگیری نمی کند.)

فایل منابع

شما می توانید از robots.txt برای جلوگیری از فایل های منابع مانند تصاویر، اسکریپت ها یا فایل های سبک استفاده کنید، اگر فکر می کنید صفحات شما بدون این منابع قابل درک است. با این حال، اگر نبود این منابع باعث می شود که صفحه ای برای خزنده گوگل به سختی درک شود، نباید آنها را مسدود کنید.

محدودیت های robots.txt را درک کنید

قبل از ساخت robots.txt خود، باید خطرات این روش برای مسدود کردن URL را بدانید. گاه ممکن است بخواهید مکانیزم های دیگر را بررسی کنید تا اطمینان حاصل کنید URL های شما در وب قابل مشاهده نیستند.

• دستورالعمل های Robots.txt تنها یک دستورالعمل ها هستند. دستورالعمل ها در فایل های robots.txt نمی توانند رفتار خزنده را به سایت شما اعمال کنند؛ در عوض، این دستورالعمل به عنوان دستورالعمل هایی برای دسترسی خزنده های به سایت شما عمل می کند. در حالی که Googlebot و سایر خزنده های وب به دستوالعمل های فایل robots.txt، احترام می گذارند ممکن است سایر خزنده های این کار را نککند. بنابراین، اگر می خواهید اطلاعات را از خزنده های وب محافظت کنید، بهتر است از سایر روش های مسدود کردن، مانند فایل های شخصی خصوصی محافظت شده در سرور خود استفاده کنید.
• خزنده ها مختلف به شکل های مختلف عمل می کنند.هرچند خزنده های وب از فایل robots.txt پیروی می کنند، هر خنده ممکن است این دستورالعمل ها را شکل های مختلف تفسیر کند. شما باید دستورالعمل مناسب را برای آدرس دهی به خزنده های مختلف وب بدانید، زیرا برخی ممکن است دستورالعمل های خاصی را درک نکنند.

برای اطلاع از روش های ما برای سئو و طراحی سایت به بخش های مربوطه مراجعه فرمایید.

منبع:google.com