جلسه 10: آشنایی با فایل ربات تکست (Robots.txt)

آشنایی با فایل ربات تکست (Robots.txt)

تا حالا به این فکر کردی که چطور موتورهای جستجو مثل گوگل، فرآیند خزش (Crawling) و ایندکس محتوا رو تو سایتت مدیریت می‌کنن؟ 🤔 چطوری می‌فهمن کدوم صفحات رو باید به طور کامل بررسی کنن و کدوم بخش‌ها باید از فرآیند خزش کنار گذاشته بشن؟ شاید هم با این چالش مواجه شدی که صفحات حساس مثل لاگین یا ورود، دایرکتوری‌های داخلی یا حتی نتایج جستجوی خود سایتت به اشتباه تو نتایج جستجو ایندکس شدن و نمی‌خوای این محتوای خاص به کاربران عمومی نمایش داده بشه! 😱

اینجاست که فایل robots.txt وارد عمل میشه! 🦸‍♂️ این فایل متنی کم‌حجم اما فوق‌العاده حیاتی، نقش یک راهنما رو برای ربات‌های خزشگر (Crawlers یا Spiders) موتورهای جستجو ایفا می‌کنه. در واقع، robots.txt به این ربات‌ها دستور میده که چه بخش‌هایی از سایتت رو می‌تونن خزش کنن و به چه مسیرهایی “اجازه دسترسی” (Allow) یا “عدم دسترسی” (Disallow) دارن.

پس اگه آماده‌ای تا مکانیزم دقیق کنترل خزش سایتت رو درک کنی، چالش‌های رایج این حوزه رو بشناسی و به طور موثر بودجه خزش (Crawl Budget) سایتت رو بهینه کنی، تا آخر این جلسه با من همراه باش! 😉 قراره تمام جزئیات مربوط به robots.txt رو به زبون ساده و با مثال‌های عملی برات روشن کنم، جوری که نه تنها مفاهیم رو کاملاً درک کنی، بلکه خودت به یک متخصص در مدیریت این فایل حیاتی تبدیل بشی! آماده‌ای؟ بزن بریم! 🚀

× 📣 اینجا محل دیده شدن تبلیغ شماست کلیک کن AD

×

جلسه 9: آشنایی با داشبورد سرچ کنسول – بخش videos (ویدیوها)

مطالعه

robots.txt چیه و چرا اصلاً بهش نیاز داریم؟

خیلی ساده بگم، فایل robots.txt یه فایل متنی ساده‌ست که توی ریشه سایتت (root directory) قرار می‌گیره. کارش اینه که به ربات‌ها و خزنده‌های وب (مثل ربات‌های گوگل) بگه کدوم قسمت‌های سایتت رو می‌تونن ببینن و کدوم قسمت‌ها رو نباید سر بزنن. این فایل خیلی مهمه چون:

• کنترل ایندکس شدن سایت: می‌تونی با این فایل جلوی ایندکس شدن صفحات حساس یا غیرضروری (مثل صفحه ورود یا پنل مدیریت) رو بگیری.
• بهبود سئو (SEO): با هدایت ربات‌ها به محتوای اصلی سایتت و جلوگیری از خزیدن توی صفحات تکراری یا بی‌اهمیت، می‌تونی رتبه سایتت رو بهتر کنی.
• مدیریت بار سرور: با محدود کردن دسترسی ربات‌ها به جاهای غیرضروری، فشار روی سرورت کمتر می‌شه.

این فایل از دستوراتی مثل User-agent (برای مشخص کردن ربات‌ها) و Disallow (برای بستن دسترسی به بخش‌هایی از سایت) استفاده می‌کنه. یه دستور دیگه هم به اسم Allow داره که می‌تونی باهاش اجازه دسترسی به جاهای خاص رو بدی.

برای اینکه بتونی فایل robots.txt سایت خودت یا هر سایت دیگه‌ای رو ببینی، کافیه آدرس کامل دامنه سایت رو به همراه /robots.txt تو مرورگرت تایپ کنی.

به این شکل:

×

جلسه 3: سایت مپ چیست؟ ( ثبت نقشه سایت در سرچ کنسول)

مطالعه

• https://www.yourdomain.com/robots.txt (به جای yourdomain.com، اسم دامنه خودت رو وارد کن).

وقتی این آدرس رو وارد کنی، یه فایل متنی ساده رو می‌بینی که شامل همون دستورات User-agent و Disallow و Allow و Sitemap هست که در ادامه دربارش با هم گپ میزنیم و بیشتر باهاشون آشنا میشم.

🤔چرا فایل robots.txt اینقدر حیاتیه؟

حالا که فهمیدی robots.txt چیه، بیا با هم بررسی کنیم چرا این فایل متنی کوچیک، تا این حد تو سئوی سایتت نقش مهمی ایفا می‌کنه و چه مشکلاتی رو می‌تونه برات حل کنه:

• مدیریت بودجه خزش (Crawl Budget) : برای سایت‌های بزرگ با هزاران صفحه، “بودجه خزش” یک مفهوم کاملاً حیاتیه! گوگل (و سایر موتورهای جستجو) برای هر سایت، یک مقدار مشخصی از زمان و منابع خودشون رو برای خزش (Crawling) صفحات اختصاص میدن. این یعنی ربات‌هاشون تا یک سقف مشخصی می‌تونن تو سایتت بچرخن و صفحات رو بررسی کنن. اگه فایل robots.txt رو به درستی تنظیم کنی، می‌تونی ربات‌ها رو از خزش صفحات بی‌اهمیت مثل:
  • صفحات ادمین و پنل کاربری
  • نتایج جستجوی داخلی سایتت که اغلب محتوای تکراری تولید می‌کنن
  • فایل‌های سیستمی یا موقت که نیازی به ایندکس شدن ندارن دور می‌کنی. اینطوری، وقت و انرژی باارزش ربات‌ها رو می‌ذاری روی صفحات مهم و اصلی سایتت که می‌خوای ایندکس بشن و تو گوگل رتبه بگیرن. این یعنی استفاده حداکثری و بهینه از منابع خزش و افزایش شانس دیده شدن محتوای ارزشمندت!
• حفاظت از اطلاعات حساس و خصوصی : قطعاً نمی‌خوای صفحات ورود به پنل کاربری، فرم‌های ثبت‌نام، یا پوشه‌های حاوی اطلاعات داخلی و فایل‌های شخصی‌ت تو نتایج جستجوی گوگل ایندکس بشن و به صورت عمومی قابل دسترس باشن، درسته؟ با استفاده از robots.txt می‌تونی جلوی دسترسی ربات‌ها به این بخش‌های حساس رو بگیری و مطمئن بشی که محتوای خصوصیت فقط برای کاربرای مجاز قابل دسترسه و نه برای همه! این یعنی افزایش امنیت و حفظ حریم خصوصی سایتت.
• جلوگیری از ایندکس شدن محتوای کم‌ارزش یا تکراری : خیلی وقتا سایت‌ها صفحاتی دارن که برای کاربر مفیدن، اما نیازی نیست تو نتایج جستجو دیده بشن یا حتی اگه ایندکس بشن، باعث “محتوای تکراری” (Duplicate Content) میشن و به سئوی سایتت ضربه می‌زنن. مثلاً:
  • صفحات “تشکر” بعد از تکمیل فرم یا خرید
  • صفحات فیلتر شده خاص (مثل نتایج فیلتر محصولات بر اساس قیمت، رنگ، یا برند در فروشگاه‌های اینترنتی )
  • صفحات آرشیو بی‌اهمیت یا کم‌محتوا در این موارد، robots.txt به دادت می‌رسه! با بلاک کردن خزش این نوع صفحات، به گوگل کمک می‌کنی تا فقط روی محتوای منحصر به فرد و باارزش سایتت تمرکز کنه و از مشکلات محتوای تکراری که می‌تونن به رتبه‌بندیت آسیب بزنن، جلوگیری می‌کنی.

کالبدشکافی robots.txt – دستورات اصلی

حالا که فهمیدی robots.txt چیه، بیا کالبدشکافیش کنیم و ببینیم از چه دستوراتی تشکیل شده💡 این فایل از چند تا دستور خیلی ساده و سرراست تشکیل شده:

• User-agent: – این دستور برای کدوم رباته؟ این خط می‌گه که دستوری که قراره در ادامه بیاد، برای کدوم موتور جستجو یا ربات خاص در نظر گرفته شده.
  • User-agent: *: ستاره به معنی “همه ربات‌ها” هست. یعنی هر دستوری که بعد از این خط بیاد، برای همه ربات‌های موتورهای جستجو (گوگل، بینگ، یاهو و…) اعمال میشه. معمولاً اول هر فایل robots.txt این خط رو می‌بینی.
  • User-agent: Googlebot: اگه بخوای یه دستور خاص فقط برای ربات گوگل باشه، از این استفاده می‌کنی.
  • User-agent: Bingbot: این هم فقط برای ربات موتور جستجوی بینگ هست.
  • نکته مهم: همیشه با User-agent: * شروع کن، مگر اینکه واقعاً نیاز داشته باشی دستورات خاصی فقط برای یک ربات مشخص اعمال بشه.
• Disallow: – ورود ممنوع! 🚫 این همون دستوریه که به ربات می‌گه “این مسیر یا فایل رو خزش نکن و داخلش نیا!”.
  • Disallow کردن یک پوشه:
    • Disallow: /wp-admin/ ( این خط از نون شب واجب‌تره! میگی ربات حق نداره صفحه لاگین وردپرس رو خزش و ایندکس کنه!)
    • Disallow کردن یک فایل خاص:
      • Disallow: /my-secret-doc.pdf (فایل پی‌دی‌افی داری که شخصیه و نمیخای رباتا بهش دسترسی داشته باشن!)
      • Disallow: /some-script.js (یه اسکریپت که نمی‌خوای گوگل بررسی کنه)
• Allow: – اینجا بیا، حتی اگه کلاً بلاکه! ✅ این دستور دقیقاً برعکس Disallow عمل می‌کنه و به ربات می‌گه “این مسیر خاص رو می‌تونی بخزی”، حتی اگه توی یک دایرکتوری یا پوشه کلی‌تر که Disallow شده، قرار داشته باشه.

مثال جامع :

×

جلسه 2: آموزش ثبت سایت در سرچ کنسول

مطالعه

  _____                __          __
 |  __ \               \ \        / /
 | |__) |__ _ _   _  __ \ \  /\  / / __
 |  _  // _\` | | | |/ _\` \ \/  \/ / '_ \
 | | \\ \ (_| | |_| | (_| | \  /\  /| |_) |
 |_|  \\_\__,_|\\__, |\\__,_|  \/  \/ | .__/
               __/ |              | |
              |___/               |_|    

“اینجا به ربات‌ها گفتیم کل wp-admin رو بلاک کن، ولی اون فایل admin-ajax.php رو که برای کارکرد وردپرس ضروریه، بهش اجازه دسترسی دادیم. دیدی؟ چقدر هوشمندانه! 💡😁

• Sitemap: – نقشه‌های سایتت کجاست؟ 🗺️ این دستور به موتورهای جستجو کمک می‌کنه تا نقشه سایت XML (Sitemap) شما رو راحت تر پیدا کنن. نقشه سایت یه لیست از تمام صفحات مهم سایتته که می‌خوای گوگل ایندکسشون کنه.
  • مثال: Sitemap: https://www.rayawp.ir/sitemap_index.xml (آدرس دقیق نقشه سایت خودت رو اینجا می‌ذاریا!)
  • نکته مهم: اگه چند تا نقشه سایت داری (مثلاً برای پست‌ها، برگه‌ها، عکس‌ها)، می‌تونی هر کدوم رو با یک خط Sitemap: جداگانه معرفی کنی.

مثال برای معرفی چند نقشه سایت:

  _____                __          __
 |  __ \               \ \        / /
 | |__) |__ _ _   _  __ \ \  /\  / / __
 |  _  // _\` | | | |/ _\` \ \/  \/ / '_ \
 | | \\ \ (_| | |_| | (_| | \  /\  /| |_) |
 |_|  \\_\__,_|\\__, |\\__,_|  \/  \/ | .__/
               __/ |              | |
              |___/               |_|    

یک نمونه فایل robots.txt جامع

حالا که با تک‌تک دستورات robots.txt آشنا شدی و فهمیدی هر کدوم چه کاری انجام میدن، وقتشه که یه نمونه عملی و کاربردی از این فایل رو ببینیم. این نمونه‌ای که اینجا برات می‌ذارم، یک نقطه شروع فوق‌العاده برای اکثر سایت‌هاست، به خصوص سایت‌های وردپرسی.

نکته خیلی مهم: آیا لازمه تمام این دستورات رو مو به مو تو فایل robots.txt خودت قرار بدی؟ نه، لزوماً! 🚫 این یک نمونه جامع و پیش‌فرض هست که بخش‌های رایج و کم‌اهمیت رو بلاک می‌کنه. تو باید با توجه به ساختار سایت خودت، اهداف سئوت و اینکه کدوم صفحات رو واقعاً نمی‌خوای ایندکس بشن، این فایل رو شخصی‌سازی کنی. مثلاً اگه یه بلاگ‌نویسی و می‌خوای صفحات دسته‌بندی و تگ‌هات ایندکس بشن، نباید اون‌ها رو Disallow کنی! 💡

×

جلسه 2: آموزش ثبت سایت در سرچ کنسول

مطالعه

  _____                __          __
 |  __ \               \ \        / /
 | |__) |__ _ _   _  __ \ \  /\  / / __
 |  _  // _\` | | | |/ _\` \ \/  \/ / '_ \
 | | \\ \ (_| | |_| | (_| | \  /\  /| |_) |
 |_|  \\_\__,_|\\__, |\\__,_|  \/  \/ | .__/
               __/ |              | |
              |___/               |_|    

تحلیل دقیق هر خط: (چه چیزی رو بلاک می‌کنی و چرا؟)

• User-agent: *: 🤖 این خط به ربات‌های همه موتورهای جستجو اعلام می‌کنه که دستورات زیر برای اون‌ها معتبره. یک شروع استاندارد و ضروری برای فایل robots.txt توئه.
• Disallow: /wp-admin/: 🚫 این دستور، دسترسی ربات‌ها رو به پوشه wp-admin (که همون پنل مدیریت وردپرس توئه) مسدود می‌کنه. قطعاً نمی‌خوای گوگل این صفحه رو ایندکس کنه و تو نتایج جستجو نشون بده، چون فقط تو باید بهش دسترسی داشته باشی! 🔐 این دستورو حتما داخل فایل ربات تکست ات استفاده کن.
• Allow: /wp-admin/admin-ajax.php: ✅ این خط یک استثناء ایجاد می‌کنه! با اینکه کل پوشه wp-admin رو بلاک کردی، اما فایل admin-ajax.php برای کارکرد صحیح بعضی از قابلیت‌های وردپرس (مثلاً در افزونه‌ها) ضروریه و باید در دسترس ربات‌ها باشه تا سایتت رو به درستی رندر کنن.
• Disallow: /wp-includes/: 🚫 این پوشه حاوی فایل‌های اصلی و هسته وردپرسه که به طور معمول نیازی به ایندکس شدن ندارن و بیشتر کدهای برنامه‌نویسی و کتابخانه‌ها رو شامل میشن.
• Disallow: /wp-content/plugins/ و Disallow: /wp-content/themes/: 🚫 این‌ها پوشه‌هایی هستن که فایل‌های مربوط به افزونه‌ها و قالب سایتت رو در خودشون دارن. معمولاً نیازی به خزش کامل این پوشه‌ها نیست. اما اینجا یه نکته حساس هست: اگه فایل‌های CSS یا JavaScript حیاتی سایتت که برای رندر (Rendering) صحیح صفحه (یعنی اینکه گوگل سایتت رو چطوری می‌بینه) لازمن، داخل این پوشه‌ها قرار دارن، ممکنه بلاک کردن کامل اون‌ها باعث بشه گوگل سایتت رو بهم‌ریخته یا ناقص ببینه و این به سئوی تو ضربه بزنه. خوشبختانه، اغلب ابزارها و سیستم‌های مدرن وردپرس، فایل‌های ضروری رندر رو از طریق CDN یا مسیرهای دیگه در دسترس گوگل قرار میدن یا گوگل خودش هوشمندانه این فایل‌ها رو پیدا می‌کنه. اما باز هم، حواست به این مورد باشه! 🧐
• Disallow: /feed/، Disallow: /comments/feed/، Disallow: /trackback/، Disallow: /xmlrpc.php: 🗑️ این‌ها صفحات یا فایل‌هایی هستن که معمولاً محتوای تکراری (Duplicate Content) تولید می‌کنن یا کاربرد سئویی مستقیمی برای کاربران عمومی ندارن. مثلاً فید RSS یا فایل xmlrpc.php که اغلب برای حملات بروت‌فورس هدف قرار می‌گیره. بلاک کردنشون به حفظ کیفیت ایندکس گوگل از سایتت کمک می‌کنه.
• Disallow: *?s=* و Disallow: /search/: 🔍 این دو دستور برای بلاک کردن نتایج جستجوی داخلی سایت شما هستن. وقتی کاربر تو سایتت جستجو می‌کنه، یه آدرس شبیه yourdomain.com/?s=keyword یا yourdomain.com/search/keyword ساخته میشه. این صفحات، محتوای تکراری زیادی تولید می‌کنن و نیازی به ایندکس شدن در گوگل ندارن.
• Disallow: /tag/، Disallow: /category/، Disallow: /author/، Disallow: /page/: 📁 این‌ها صفحات آرشیو سایتت هستن (مثلاً آرشیو تگ‌ها، دسته‌بندی‌ها، نویسنده‌ها یا صفحات Pagination). اینجا باید خیلی دقت کنی! ⚠️ بسته به ساختار سایت و استراتژی سئوی تو، گاهی اوقات این صفحات (به خصوص اگر محتوای منحصر به فرد کمی داشته باشند یا صرفاً لیست مقالات باشند) Disallow می‌شوند تا بودجه خزش برای محتوای اصلی صرف شود. اما برای بعضی سایت‌ها، این صفحات (مثلاً صفحات دسته‌بندی محصولات در فروشگاه‌های اینترنتی که محتوای باکیفیت و توضیحات زیادی دارند) بسیار مهم هستند و نباید Disallow شوند. پس قبل از بلاک کردن این موارد، مطمئن شو که واقعاً نمی‌خوای این صفحات ایندکس بشن!
• Sitemap: https://www.domain.ir/sitemap_index.xml: 🗺️ این خط به ربات‌های گوگل می‌گه نقشه سایت XML تو کجاست تا بتونن تمام صفحات مهمت رو به راحتی پیدا کنن و ایندکس کنن. (حتماً آدرس دقیق نقشه سایت خودت رو اینجا بگذار!)

آیا باید تمام این دستورات رو استفاده کنی؟ 🤷‍♀️

خلاصه و شفاف بگم: نه، این نمونه یک robots.txt عمومی و جامعه. تو باید این لیست رو با توجه به ویژگی‌های منحصر به فرد سایت خودت، نوع محتوایی که تولید می‌کنی، و اهداف سئویی مشخصت، شخصی‌سازی کنی.

• اگه سایتت یه فروشگاه اینترنتی بزرگه، ممکنه نیاز داشته باشی صفحات فیلترینگ محصولات رو به دقت مدیریت کنی.
• اگه یه وبلاگ کوچیک داری، شاید نیازی به بلاک کردن دسته‌بندی‌ها یا تگ‌ها نباشه.
• مهم‌ترین اصل: هر چیزی رو که می‌خوای در گوگل ظاهر بشه، نباید در robots.txt بلاک کنی! و هر چیزی رو که نمی‌خوای گوگل ایندکسش کنه (مثل پنل مدیریت یا صفحات تشکر)، باید با Disallow (برای خزش) یا noindex (برای ایندکس) مدیریتش کنی.

پس، این نمونه رو به عنوان یک راهنما ببین، نه یک قانون بی‌چون و چرا. با درک کارکرد هر دستور، می‌تونی فایل robots.txt مخصوص سایت خودت رو بسازی که به بهترین شکل ممکن به سئوی سایتت کمک کنه! 🌟

×

جلسه 2: آموزش ثبت سایت در سرچ کنسول

مطالعه

اشتباهات رایج توی robots.txt که نباید مرتکب بشی! ⚠️

حالا که با بخش‌های اصلی آشنا شدی، بیا یه سری اشتباهات رایج رو بهت بگم که مبادا مرتکب بشی و سئوی سایتت رو به خطر بندازی:

1. بلاک کردن فایل‌های CSS، JS و تصاویر حیاتی: ❌ اوه اوه! این بدترین اشتباهیه که می‌تونی بکنی! 😱 اگه فایل‌های CSS (که ظاهر سایتت رو شکل میدن) و JavaScript (که تعاملات سایت رو مدیریت می‌کنن) رو بلاک کنی، گوگل نمی‌تونه صفحه رو “درست رندر” کنه. یعنی چی؟ یعنی گوگل سایتت رو زشت و بهم ریخته می‌بینه، چون نمی‌تونه بفهمه ظاهر واقعیش چطوریه. در نتیجه، رتبه‌بندی سایتت حسابی افت می‌کنه! یادت باشه، گوگل باید سایتت رو دقیقاً همونطور که کاربر می‌بینه، ببینه.
2. بلاک کردن کامل سایت با Disallow: / بدون دلیل موجه: 🚨 هی، هیچ وقت Disallow: / رو بدون دلیل موجه نذار! این یعنی سایتت رو کلاً از گوگل قایم کردی و به هیچ رباتی اجازه خزش و ایندکس شدن نمیدی. فقط زمانی از این دستور استفاده کن که می‌خوای سایتت رو به طور کامل از نتایج جستجو خارج کنی (مثلاً وقتی سایتت هنوز در حال توسعه است).
3. اشتباهات تایپی یا سینتکسی (Syntax Errors): 🤯 یه نقطه، یه اسلش اضافه یا کم، یا یک حرف اشتباه می‌تونه کل فایل robots.txt تو رو بی‌اثر کنه یا باعث مشکلات پیش‌بینی نشده بشه. همیشه بعد از هر تغییری، فایلت رو با ابزارهای تست چک کن!
4. robots.txt محتوا رو از ایندکس (نتایج گوگل) حذف نمیکنه! این یه نکته خیلی مهمه: robots.txt جلوی خزش (Crawl) رو می‌گیره، نه ایندکس شدن (Index)! یعنی اگه یه صفحه قبلاً توسط گوگل ایندکس شده باشه و تو بعداً اون رو با robots.txt دیس اِلو کنی، ممکنه همچنان تو نتایج جستجو بمونه چون گوگل قبلاً اطلاعاتش رو داره و فقط دیگه نمی‌تونه بهش سر بزنه و آپدیتش کنه. برای حذف یک صفحه از نتایج جستجو، باید از متاتگ noindex استفاده کنی که تو بخش بعدی توضیح میدم!

Robots.txt در مقابل Meta Robots (Noindex/Nofollow) – فرقشون چیه؟ 🧐

این دو تا خیلی شبیه به هم به نظر میان، ولی کارشون کاملاً فرق داره و خیلیا این دو رو اشتباه می‌گیرن. بیا فرقشون رو بهت بگم:

1. robots.txt – نگهبان در ورودی! 🤖
   • کارش: به ربات می‌گه “لطفاً این بخش از سایت رو خزش نکن.”
   • نتیجه: ربات وارد اون بخش نمیشه و محتوای اون رو نمی‌بینه. بنابراین، نمی‌تونه اون رو ایندکس کنه.
   • محدودیت: اگه یک صفحه قبلاً ایندکس شده باشه، robots.txt به تنهایی نمی‌تونه اون رو از نتایج جستجو حذف کنه. فقط جلوی خزش‌های بعدی رو می‌گیره.
   • مکان: یک فایل متنی در روت سایت (yourdomain.com/robots.txt).
2. Meta Robots (<meta name="robots" content="noindex, nofollow">) – برچسب روی خود صفحه! 🏷️
   • کارش: یک تگ HTML هست که باید توی بخش <head> هر صفحه از سایتت بذاری.
   • noindex: “این یعنی بیا، صفحه رو ببین، محتواش رو بخز، ولی تو گوگل نشونش نده و ایندکس نکن! ❌” این بهترین و مطمئن‌ترین راه برای حذف یک صفحه از نتایج جستجوئه.
   • nofollow: “این یعنی بیا، صفحه رو بخز، محتواش رو ببین، ولی هیچکدوم از لینک‌های داخل این صفحه رو دنبال نکن! 🔗” این برای لینک‌های خارجی که بهشون اعتماد کامل نداری یا لینک‌های داخلی که نمی‌خوای “ارزش سئو” رو بهشون منتقل کنی، استفاده میشه.
   • مکان: داخل کد HTML هر صفحه، در بخش <head>.

چه موقع از robots.txt و چه موقع از متاتگ noindex باید استفاده کنیم؟

• می‌خوای یه صفحه رو از نتایج جستجو حذف کنی؟ برو سراغ noindex! (داخل تگ Meta Robots در HTML صفحه). ✅
• می‌خوای به ربات بگی یه پوشه پر از فایل‌های بی‌اهمیت یا خصوصیه و اصلاً سمتش نره که وقتش هدر نره و منابع سرور رو اشغال نکنه؟ از Disallow در robots.txt استفاده کن! 🚀

نحوه ساخت و تست فایل robots.txt

حالا که همه چی رو یاد گرفتی، نوبت عمله! ساخت و تست robots.txt خیلی سادست، البته به شرطی که بدونی چی کار می‌کنی:

1. ساخت فایل:
   • یه فایل تکست ساده باز کن (با Notepad ویندوز یا TextEdit مک یا هر ویرایشگر کد ساده‌ای).
   • کدهای robots.txt رو که بالاتر یاد گرفتی، داخلش بنویس.
   • مهم: فایل رو دقیقاً با اسم robots.txt ذخیره کن. حواست باشه اسمش robots.txt.txt یا چیزی شبیه این نشه! 🤫
2. آپلود فایل:
   • فایل robots.txt رو باید تو روت اصلی سایتت آپلود کنی. یعنی همون جایی که فایل‌هایی مثل index.php، wp-config.php، یا پوشه‌های اصلی سایتت (مثل wp-content برای وردپرس) قرار دارن.
   • می‌تونی از طریق کنترل پنل هاستت (مثل cPanel یا DirectAdmin) و بخش “File Manager” این کار رو انجام بدی، یا اگه با FTP کار می‌کنی، از طریق نرم‌افزارهای FTP مثل FileZilla.
   • بعد از آپلود، می‌تونی با وارد کردن آدرس https://www.yourdomain.com/robots.txt تو مرورگرت، مطمئن بشی که فایل آپلود شده و قابل دسترسیه.
3. تست در گوگل سرچ کنسول (اینجا جاییه که کار تو حرفه‌ای میشه! 🚀):
   • وارد حساب Google Search Console (گوگل سرچ کنسول) خودت شو.
   • برو به بخش “Settings” (تنظیمات) و بعد “Crawl stats” (آمار خزش). اینجا می‌تونی ببینی گوگل چقدر به سایتت سر می‌زنه و آیا robots.txtت به درستی کار می‌کنه یا نه.
   • مهم‌تر: از ابزار “Robots.txt Tester” (تستر Robots.txt) استفاده کن.
     • تو این ابزار می‌تونی فایل robots.txt فعلیت رو ببینی.
     • نکته طلایی: همیشه بعد از هر تغییری تو فایل robots.txtت، حتماً با این ابزار تستش کن! اینجوری از اشتباهات احتمالی جلوگیری می‌کنی. ✅

جمع‌بندی: نگهبان سایتت رو درست تربیت کن! 🎓

خب، رسیدیم به آخر این جلسه هیجان‌انگیز! ✨ حالا تو دیگه یه متخصص robots.txt هستی و می‌دونی این فایل کوچولو چقدر می‌تونه تو سئوی سایتت تأثیرگذار باشه.

×

جلسه 3: سایت مپ چیست؟ ( ثبت نقشه سایت در سرچ کنسول)

مطالعه

نکات کلیدی که باید یاد بگیری:

• robots.txt: نگهبان در ورودی ربات‌هاست و جلوی خزش رو می‌گیره. 🤖
• noindex: بهترین دوستت برای حذف یک صفحه از ایندکس گوگل. ❌
• همیشه فایل رو در روت اصلی سایتت آپلود کن. 📁
• هیچ وقت فایل‌های حیاتی مثل CSS و JS رو بلاک نکن! 🚨
• و از همه مهم‌تر، همیشه بعد از هر تغییری، فایل robots.txt رو تو گوگل سرچ کنسول تست کن! 🔍

اگه این نگهبان سایتت رو درست تربیت کنی، می‌تونی مطمئن باشی که گوگل روی صفحات مهم و ارزشمند سایتت تمرکز می‌کنه و بهترین تجربه رو هم به کاربران و هم به ربات‌ها ارائه میدی. 🌟

حالا برو robots.txt سایتت رو چک کن و ببین می‌تونی بهترش کنی؟ اگه سوالی داری، حتماً تو کامنت‌ها بپرس 😉🚀

×

جلسه 8: آشنایی با داشبورد سرچ کنسول – بخش pages (برگه ها)

مطالعه