رفرشر ربات‌ ها: معرفی سری جدید

هر از گاهی سوالاتی درباره فایل robots.txt، تگ‌ های متا ربات‌ ها و قابلیت‌ های کنترلی که ارائه می‌ دهند دریافت می‌ کنیم. پس از سری مطالب دسامبر درباره خزیدن (Crawling)، فکر کردیم حالا زمان مناسبی برای ارائه یک مرور کوتاه و ساده است. اگر به این ابزارهای کنترلی کنجکاو هستید، با این سری جدید از پست‌ های وبلاگ همراه شوید!

بیایید از ابتدا شروع کنیم: با فایل robots.txt.

فایل robots.txt یک فایل متنی است که هر وب‌ سایتی می‌ تواند آن را ارائه دهد. این فایل به ساده‌ ترین شکل خود روی سرور ذخیره می‌ شود. تقریباً همه وب‌ سایت‌ ها یک فایل robots.txt دارند. برای مشاهده آن، کافی است نام دامنه را بگیرید، به انتهای آن /robots.txt اضافه کنید و به آن آدرس بروید. برای مثال، فایل robots.txt این وب‌ سایت در آدرس developers.google.com/robots.txt قرار دارد.

بیشتر وب‌ سایت‌ ها از سیستم‌ های مدیریت محتوا (CMS) استفاده می‌ کنند که این فایل‌ ها را به‌ صورت خودکار ایجاد می‌ کنند، اما حتی اگر وب‌ سایت خود را به‌ صورت دستی می‌ سازید، ایجاد این فایل آسان است. در پست‌ های بعدی به برخی از انواع این فایل‌ ها نگاهی خواهیم انداخت.

این فایل‌ ها چه کاربردی دارند؟

فایل‌ های robots.txt به خزنده‌ های وب‌ سایت (Crawlers) می‌ گویند کدام بخش‌ های یک وب‌ سایت برای دسترسی خودکار (که ما آن را خزیدن می‌ نامیم) مجاز هستند و کدام بخش‌ ها نیستند. این فایل‌ ها به وب‌ سایت‌ ها امکان می‌ دهند همه چیز را، از کل سایت گرفته تا بخش‌ های خاصی از آن یا حتی فایل‌ های مشخص، مدیریت کنند. این فایل‌ ها علاوه بر اینکه برای ماشین‌ ها قابل‌ خواندن هستند، برای انسان‌ ها نیز قابل‌ فهم‌ اند. این یعنی همیشه پاسخی صریح (بله یا خیر) درباره اینکه آیا یک صفحه می‌تواند به‌ صورت خودکار توسط یک خزنده خاص دسترسی پیدا کند یا نه، وجود دارد.

رعایت این دستورالعمل‌ ها برای هر کسی که خزنده‌ ای می‌ سازد استاندارد است و برای توسعه‌ دهندگان پشتیبانی از آن‌ ها آسان است؛ بیش از 1000 کتابخانه منبع‌ باز برای توسعه‌ دهندگان در دسترس است. این فایل به خزنده‌ها دستورالعمل‌ هایی برای خزیدن بهینه در وب‌ سایت می‌ دهد. وب‌ سایت‌ های مدرن می‌ توانند پیچیده باشند، پیمایش خودکار آن‌ ها چالش‌ برانگیز است و قوانین robots.txt به خزنده‌ ها کمک می‌ کند روی محتوای مناسب تمرکز کنند. این کار همچنین باعث می‌ شود خزنده‌ ها از صفحات پویا که ممکن است فشار زیادی به سرور وارد کنند اجتناب کنند و خزیدن را غیرضروری ناکارآمد نکنند. از آنجا که فایل‌ های robots.txt هم از نظر فنی مفید هستند و هم روابط خوبی با صاحبان وب‌ سایت ایجاد می‌ کنند، اکثر اپراتورهای خزنده‌ های تجاری از آن‌ ها پیروی می‌ کنند.

ساخته‌ شده و گسترش‌ یافته توسط جامعه

فایل‌ های robots.txt تقریباً از ابتدای پیدایش اینترنت وجود داشته‌ اند و یکی از ابزارهای اساسی هستند که اینترنت را به شکلی که امروز می‌ بینیم ممکن ساخته‌ اند. HTML، پایه صفحات وب، در سال 1991 اختراع شد، اولین مرورگرها در سال 1992 آمدند و robots.txt در سال 1994 معرفی شد. این یعنی حتی از گوگل که در سال 1998 تأسیس شد، قدیمی‌ تر است. فرمت این فایل از آن زمان تاکنون تقریباً بدون تغییر باقی مانده و فایلی از روزهای اولیه هنوز هم معتبر است. پس از سه سال مشارکت جامعه جهانی، این فایل در سال 2022 به‌ عنوان یک استاندارد پیشنهادی IETF ثبت شد.

اگر وب‌ سایتی دارید، به احتمال زیاد یک فایل robots.txt هم دارید. جامعه‌ ای پویا و فعال حول robots.txt وجود دارد و هزاران ابزار نرم‌ افزاری برای ساخت، آزمایش، مدیریت یا درک فایل‌ های robots.txt در انواع و اندازه‌ های مختلف در دسترس است. زیبایی robots.txt در این است که نیازی به ابزارهای پیچیده ندارید؛ می‌ توانید این فایل را در مرورگر بخوانید و برای وب‌ سایتی که مدیریت می‌ کنید، آن را با یک ویرایشگر متنی ساده تنظیم کنید.

نگاه به آینده…

فرمت robots.txt انعطاف‌ پذیر است. فضا برای رشد وجود دارد، جامعه وب عمومی می‌ تواند آن را گسترش دهد و خزنده‌ ها می‌ توانند در صورت لزوم افزونه‌ هایی را اعلام کنند، بدون اینکه استفاده‌ های موجود را مختل کنند. این اتفاق در سال 2007 رخ داد، زمانی که موتورهای جستجو دستورالعمل “sitemap” را معرفی کردند. همچنین این موضوع به‌ صورت منظم با پشتیبانی از “کاربر-عامل‌ ها” (user-agents) جدید توسط اپراتورهای خزنده و موتورهای جستجو، مانند آن‌ هایی که برای اهداف هوش مصنوعی استفاده می‌ شوند، رخ می‌ دهد.

فایل robots.txt ماندگار است. ایجاد فرمت‌ های جدید فایل چند سال طول می‌ کشد تا با جامعه بزرگ‌ تر اینترنت نهایی شوند و ابزارهای مناسب برای مفید بودن در اکوسیستم حتی زمان بیشتری می‌ برند. این فایل ساده، دقیق و گویا است، به‌ خوبی شناخته‌ شده و پذیرفته‌ شده است و همان‌ طور که دهه‌ هاست کار می‌ کند، همچنان کار می‌ کند.

نیک لینک!

با آژانس نیک لینک، وب‌ سایتی حرفه‌ ای و بهینه برای موتورهای جستجو داشته باشید! ما با طراحی سایت‌ های ریسپانسیو و کاربر پسند و خدمات سئوی پیشرفته، کسب‌ و کار شما را به اوج می‌ رسانیم. از افزایش ترافیک ارگانیک تا بهبود رتبه در گوگل، نیک لینک همراه شماست. همین حالا با ما تماس بگیرید و قدم اول را برای موفقیت آنلاین بردارید!

تبلیغات روح دارند.

منبع:

Robots Refresher: introducing a new series – google search central blog