رفرشر ربات‌ ها: معرفی سری جدید

رفرشر ربات‌ ها: معرفی سری جدید

هر از گاهی سوالاتی درباره فایل robots.txt، تگ‌ های متا ربات‌ ها و قابلیت‌ های کنترلی که ارائه می‌ دهند دریافت می‌ کنیم. پس از سری مطالب دسامبر درباره خزیدن (Crawling)، فکر کردیم حالا زمان مناسبی برای ارائه یک مرور کوتاه و ساده است. اگر به این ابزارهای کنترلی کنجکاو هستید، با این سری جدید از پست‌ های وبلاگ همراه شوید!

بیایید از ابتدا شروع کنیم: با فایل robots.txt.

فایل robots.txt یک فایل متنی است که هر وب‌ سایتی می‌ تواند آن را ارائه دهد. این فایل به ساده‌ ترین شکل خود روی سرور ذخیره می‌ شود. تقریباً همه وب‌ سایت‌ ها یک فایل robots.txt دارند. برای مشاهده آن، کافی است نام دامنه را بگیرید، به انتهای آن /robots.txt اضافه کنید و به آن آدرس بروید. برای مثال، فایل robots.txt این وب‌ سایت در آدرس developers.google.com/robots.txt قرار دارد.

بیشتر وب‌ سایت‌ ها از سیستم‌ های مدیریت محتوا (CMS) استفاده می‌ کنند که این فایل‌ ها را به‌ صورت خودکار ایجاد می‌ کنند، اما حتی اگر وب‌ سایت خود را به‌ صورت دستی می‌ سازید، ایجاد این فایل آسان است. در پست‌ های بعدی به برخی از انواع این فایل‌ ها نگاهی خواهیم انداخت.

این فایل‌ ها چه کاربردی دارند؟

این فایل‌ ها چه کاربردی دارند؟

فایل‌ های robots.txt به خزنده‌ های وب‌ سایت (Crawlers) می‌ گویند کدام بخش‌ های یک وب‌ سایت برای دسترسی خودکار (که ما آن را خزیدن می‌ نامیم) مجاز هستند و کدام بخش‌ ها نیستند. این فایل‌ ها به وب‌ سایت‌ ها امکان می‌ دهند همه چیز را، از کل سایت گرفته تا بخش‌ های خاصی از آن یا حتی فایل‌ های مشخص، مدیریت کنند. این فایل‌ ها علاوه بر اینکه برای ماشین‌ ها قابل‌ خواندن هستند، برای انسان‌ ها نیز قابل‌ فهم‌ اند. این یعنی همیشه پاسخی صریح (بله یا خیر) درباره اینکه آیا یک صفحه می‌تواند به‌ صورت خودکار توسط یک خزنده خاص دسترسی پیدا کند یا نه، وجود دارد.

رعایت این دستورالعمل‌ ها برای هر کسی که خزنده‌ ای می‌ سازد استاندارد است و برای توسعه‌ دهندگان پشتیبانی از آن‌ ها آسان است؛ بیش از 1000 کتابخانه منبع‌ باز برای توسعه‌ دهندگان در دسترس است. این فایل به خزنده‌ها دستورالعمل‌ هایی برای خزیدن بهینه در وب‌ سایت می‌ دهد. وب‌ سایت‌ های مدرن می‌ توانند پیچیده باشند، پیمایش خودکار آن‌ ها چالش‌ برانگیز است و قوانین robots.txt به خزنده‌ ها کمک می‌ کند روی محتوای مناسب تمرکز کنند. این کار همچنین باعث می‌ شود خزنده‌ ها از صفحات پویا که ممکن است فشار زیادی به سرور وارد کنند اجتناب کنند و خزیدن را غیرضروری ناکارآمد نکنند. از آنجا که فایل‌ های robots.txt هم از نظر فنی مفید هستند و هم روابط خوبی با صاحبان وب‌ سایت ایجاد می‌ کنند، اکثر اپراتورهای خزنده‌ های تجاری از آن‌ ها پیروی می‌ کنند.

ساخته‌ شده و گسترش‌ یافته توسط جامعه

فایل‌ های robots.txt تقریباً از ابتدای پیدایش اینترنت وجود داشته‌ اند و یکی از ابزارهای اساسی هستند که اینترنت را به شکلی که امروز می‌ بینیم ممکن ساخته‌ اند. HTML، پایه صفحات وب، در سال 1991 اختراع شد، اولین مرورگرها در سال 1992 آمدند و robots.txt در سال 1994 معرفی شد. این یعنی حتی از گوگل که در سال 1998 تأسیس شد، قدیمی‌ تر است. فرمت این فایل از آن زمان تاکنون تقریباً بدون تغییر باقی مانده و فایلی از روزهای اولیه هنوز هم معتبر است. پس از سه سال مشارکت جامعه جهانی، این فایل در سال 2022 به‌ عنوان یک استاندارد پیشنهادی IETF ثبت شد.

اگر وب‌ سایتی دارید، به احتمال زیاد یک فایل robots.txt هم دارید. جامعه‌ ای پویا و فعال حول robots.txt وجود دارد و هزاران ابزار نرم‌ افزاری برای ساخت، آزمایش، مدیریت یا درک فایل‌ های robots.txt در انواع و اندازه‌ های مختلف در دسترس است. زیبایی robots.txt در این است که نیازی به ابزارهای پیچیده ندارید؛ می‌ توانید این فایل را در مرورگر بخوانید و برای وب‌ سایتی که مدیریت می‌ کنید، آن را با یک ویرایشگر متنی ساده تنظیم کنید.

نگاه به آینده...

نگاه به آینده…

فرمت robots.txt انعطاف‌ پذیر است. فضا برای رشد وجود دارد، جامعه وب عمومی می‌ تواند آن را گسترش دهد و خزنده‌ ها می‌ توانند در صورت لزوم افزونه‌ هایی را اعلام کنند، بدون اینکه استفاده‌ های موجود را مختل کنند. این اتفاق در سال 2007 رخ داد، زمانی که موتورهای جستجو دستورالعمل “sitemap” را معرفی کردند. همچنین این موضوع به‌ صورت منظم با پشتیبانی از “کاربر-عامل‌ ها” (user-agents) جدید توسط اپراتورهای خزنده و موتورهای جستجو، مانند آن‌ هایی که برای اهداف هوش مصنوعی استفاده می‌ شوند، رخ می‌ دهد.

فایل robots.txt ماندگار است. ایجاد فرمت‌ های جدید فایل چند سال طول می‌ کشد تا با جامعه بزرگ‌ تر اینترنت نهایی شوند و ابزارهای مناسب برای مفید بودن در اکوسیستم حتی زمان بیشتری می‌ برند. این فایل ساده، دقیق و گویا است، به‌ خوبی شناخته‌ شده و پذیرفته‌ شده است و همان‌ طور که دهه‌ هاست کار می‌ کند، همچنان کار می‌ کند.

اینستاگرام نیک لینک

نیک لینک!

با آژانس نیک لینک، وب‌ سایتی حرفه‌ ای و بهینه برای موتورهای جستجو داشته باشید! ما با طراحی سایت‌ های ریسپانسیو و کاربر پسند و خدمات سئوی پیشرفته، کسب‌ و کار شما را به اوج می‌ رسانیم. از افزایش ترافیک ارگانیک تا بهبود رتبه در گوگل، نیک لینک همراه شماست. همین حالا با ما تماس بگیرید و قدم اول را برای موفقیت آنلاین بردارید!

تبلیغات روح دارند.

 

منبع:

Robots Refresher: introducing a new series – google search central blog

طراحی وب‌سایت

پشتیبانی از سایت به چه معنا است؟

پشتیبانی از سایت به مجموعه‌ای از فعالیت‌های فنی و مدیریتی اشاره دارد که با هدف حفظ عملکرد صحیح، امنیت و بروزرسانی مستمر یک وب‌سایت انجام می‌شود. این خدمات شامل رفع مشکلات فنی، به‌روزرسانی محتوا، بهبود سرعت بارگذاری صفحات، افزایش امنیت...

مطالعه

تولید محتوا

چرا تولید محتوای منظم کلید موفقیت وب‌ سایت‌ های مدرن است؟

گامی استراتژیک در مسیر موفقیت دیجیتال در عصر دیجیتال که رقابت میان وب‌ سایت‌ ها برای جلب توجه مخاطبان بی‌ وقفه ادامه دارد، تولید محتوای منظم به‌ عنوان یکی از مهم‌ ترین عوامل موفقیت شناخته می‌ شود. این رویکرد، نه‌...

مطالعه

وبلاگ

مدیریت مالی کسب‌ و کار آنلاین در اقتصاد جنگی

اداره یک کسب‌ و کار در هر شرایطی پر از چالش است، اما زمانی که این کار در بستر یک اقتصاد جنگی یا بحران‌ زده انجام شود، قوانین بازی به کلی تغییر می‌کند. دیگر هدف، رشد انفجاری و پیشی گرفتن...

مطالعه

تولید محتوای ویدیویی

تیزر تبلیغاتی خلاقانه؛💡 راهی برای دیده شدن برندها

با توجه به رقابت شدید در بازار امروز، جلب توجه مخاطبان و ماندگاری در ذهن آن‌ها از اهمیت ویژه‌ای برخوردار شده است. تیزرهای تبلیغاتی به‌عنوان یکی از موثرترین ابزارهای تبلیغاتی، با بهره‌گیری از ایده‌های خلاقانه و جذاب، به برندها کمک...

مطالعه

بازاریابی موتور‌های جستجو

نسخه 19 API گوگل ادز با ویژگی‌های جدید منتشر شد

گوگل اعلام کرد که نسخه 19 API گوگل ادز را منتشر کرده است و ویژگی‌ ها و بهبودهای جدیدی را برای توسعه‌دهندگان معرفی می‌کند. تغییرات جدید گوگل برجسته‌ ترین موارد جدید را منتشر کرده که شامل موارد زیر است: افزودن...

مطالعه

مقالات

ساخت تیزرهای تبلیغاتی صنعتی: راز موفقیت آژانس‌ های حرفه‌ ای

در دنیای رقابتی امروز، تیزرهای تبلیغاتی صنعتی به یکی از قدرتمندترین ابزارهای بازاریابی برای معرفی برندها، محصولات و خدمات در بخش‌ های صنعتی تبدیل شده‌ اند. این تیزرها نه‌ تنها توانایی نمایش توانمندی‌ های فنی و نوآوری‌ های یک شرکت...

مطالعه

برندسازی

چگونه استراتژی برند قوی بسازیم؟

در دنیای پر رقابت امروزی، داشتن یک استراتژی برند قوی می‌تواند کسب‌ و کار شما را از دیگران متمایز کند و جایگاه ویژه‌ای در ذهن مخاطبان برایتان ایجاد نماید. استراتژی برند، نقشه راهی است که هویت، ارزش‌ها و پیام شما...

مطالعه

وبلاگ

اطلاع رسانی شفاف به کاربران در شرایط اختلال

در دنیای دیجیتال امروز، اختلال در خدمات آنلاین، وب سایت ها، اپلیکیشن ها یا زیرساخت های ارتباطی امری اجتناب ناپذیر است. آنچه یک کسب و کار را از رقبا متمایز می کند، نبود اختلال نیست، بلکه نحوه مدیریت آن و...

مطالعه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

برای پیام در واتساپ کلیک کنید 09129283394 09351327177
به مشاوره نیاز داری؟