Robots.txt چیست : Robots.txt یک فایل متنی است که به یک وب سایت اجازه می دهد دستورالعمل هایی را برای ربات های خزنده وب ارائه دهد.

وب مسترها برای آموزش رباتهای وب (معمولاً ربات های موتور جستجو) نحوه خزیدن صفحات در وب سایت خود Robots.txt را ایجاد می کنند. پرونده robots.txt بخشی از پروتکل طرد ربات ها (REP) است ، گروهی از استانداردهای وب که چگونگی خزیدن روبات ها به وب ، دسترسی و فهرست بندی مطالب را تنظیم می کنند و آن محتوا را در اختیار کاربران قرار می دهند. REP همچنین شامل راهنماهایی مانند روبات های متا ، و همچنین دستورالعمل های صفحه ، فرعی یا راهنمای سایت برای نحوه برخورد موتورهای جستجو با پیوندها (مانند “دنبال کردن” یا “دنبال نکردن”) است.

موتورهای جستجو مانند Google از این خزنده های وب ، که بعضا ربات های وب نامیده می شوند ، برای بایگانی و طبقه بندی وب سایتها استفاده می کنند. اکثر ربات ها برای جستجوی یک پرونده robots.txt در سرور قبل از خواندن هر پرونده دیگر از وب سایت پیکربندی شده اند. این کار را انجام میدهند تا ببیند آیا صاحب یک وب سایت دستورالعمل های خاصی درباره نحوه خزیدن و فهرست بندی سایت خود دارد یا خیر.

Robots.txt چیست

روبات

پرونده robots.txt شامل مجموعه ای از دستورالعمل هایی است که از ربات (bot) می خواهد تا پرونده ها یا فهرست های خاص را نادیده بگیرد. این ممکن است به منظور حفظ حریم خصوصی باشد یا به این دلیل که صاحب وب سایت معتقد است که محتوای آن پرونده ها و دایرکتوری ها برای طبقه بندی وب سایت در موتورهای جستجو بی ربط است.

Robots.txt چیست

اگر یک وب سایت دارای بیش از یک زیر دامنه باشد ، هر زیر دامنه باید پرونده robots.txt خود را داشته باشد. توجه به این نکته حائز اهمیت است که همه رباتها از یک فایل robots.txt تجلیل نمی کنند. برخی از ربات های مخرب حتی فایل robots.txt را می خوانند تا در ابتدا به کدام فایلها و فهرستها مراجعه کنند. همچنین ، حتی اگر یک پرونده robots.txt به رباتها اجازه ندهد صفحات خاصی را در سایت نادیده بگیرند ، ممکن است این صفحات هنوز هم در نتایج جستجو در صفحات دیگری که خزنده شده اند دیده شوند.

مثالی از نحوه استفاده از این فایل

User-agent: [user-agent name] Disallow: [URL string not to be crawled]

عامل کاربر: [نام نماینده کاربر]
عدم اجازه: [رشته URL خزیده نمی شود]

برای مثال زیر ربات های تبلیغاتی گوگل بلاک میشوند.

# Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / Sitemap: https://example.com/sitemap.xml

نکات مهمی که درباره فایل robots.txt وجود دارد.

  • فایل robots.txt در بخش root (بخش اصلی همانند public_html) سایت قرار دارد.

  • برای قرار دادن کامنت در فایل robots.txt باید از شارپ (#) استفاده کرد.

    روبات

  • پیشنهاد میشود در پایان فایل robots.txt سایت مپ خود را معرفی کنید.

مخزن وردپرس

وب پاور