آموزش html و cssآموزش سئو تصویرآموزش سئو تکنیکال وردپرسآموزش وردپرسبلاگترفند های سئودانشنامه

در این مقاله میخوانید

در این مقاله به اهمیت فایل robots.txt در سایت و سئو سایت شما می‌پردازیم. با این کار می‌توانید سئو سایت خود را بالابرده و در ضمن روی رتبه الکسا سایت شما نیز تأثیر زیادی دارد. شما می‌توانید توسط این فایل آمار ترافیک سایت خود را بهبود دهید؛ و فروش محصولات خود را بالا برده و فروش خود را گسترش دهید.

شما با استفاده از بهینه‌سازی سایتتان می‌توانید سبب پیشرفت و بهبود عملکرد آن شوید. همچنین شما می‌توانید زیر نظر خود دسترسی‌های متفاوتی را به این ربات‌ها دهید. توجه داشته باشید عدم توجه به آن می‌تواند پیامدهای غیرقابل جبرانی برای سایت شما داشته باشد و رتبه سایت شما را پایین‌تر آورد.

 

فایل robots.txt چیست؟

توسط این فایل شما می‌توانید مشخص کنید که گوگل چه قسمت‌هایی از سایت شما را ایندکس کند و درواقع می‌توانید گوگل را کنترل کنید. توسط این فایل قسمت‌های محدود و مشخص از سایت شما توسط موتورهای جستجو ایندکس می‌شود. درواقع توسط این قسمت مشخص می‌شود که گوگل به چه قسمت‌هایی دسترسی داشته باشد و سراغ محتوای غیر مرتبط نرود.

این فایل به‌صورت اتوماتیک بر عملکرد سایت شما تأثیر می‌گذارد. و به‌وسیله آن می‌توان صفحاتی که محتوای آن‌ها از اهمیت چندانی برخوردار نیست ایندکس نشاند. درواقع موتورهای جستجو توسط این ربات متوجه می‌شوند که به چه بخش‌هایی اجازه دسترسی دارند.

 

چرا فایل robots.txt برای سئو مهم است؟

به دلیل این‌که برای ربات‌های گوگل و بینگ robots.txt مهم است. این فایل به دلیل این‌که اجازه می‌دهد موتورهای جستجو مانند: گوگل و یاهو و یا بینگ محدرات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می‌باشد.

بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت. در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند. شما توسط این فایل به‌عنوان یک وب‌مستر حرفه‌ای عمل کرده؛ اهمیت فایل تاحدی است که حتی خود گوگل هم دارای این فایل است! پس ساخت آن را حتماً جدی بگیرید.

پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید.

 

فایل robots.txt چیست؟ بهینه سازی فایل ربات در وردپرس

 

 

آیا واقعا به فایل robots.txt نیاز داریم؟

بله برای اینکه صفحه سایت شما بتواند توسط گوگل، بینگ و… ایندکس شود شما به فایل Robots.txt نیاز دارید. تا زمانی که فایل ربات نباشد گوگل و سایر موتورهای جستجو نمی‌توانند به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند؛ معمولاً اگر شما درهاست خود فایل Robots.txt نداشته باشید باید یک فایل جدید بسازید و نام آن را ربات بگذارید.

بهترین راه برای بالا بردن بازدید سایت شما بالا بردن رتبه سایتتان درcz موتورهای جستجو است. زمانی که رتبه سایت شما در این موتورها بالا رود شما بازدید بیشتری داشته و درنتیجه می‌توانید درآمد بیشتری نیز داشته باشید. به‌واسطه‌ی ربات‌های موتورهای جستجوگر شما می‌توانید سایتتان را به این موتورها به‌راحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید.

 

آموزش ساخت فایل Robots.txt

کد و یا فرمت‌های این پرونده خیلی ساده است. در سطر اول user agent را داریم که برای شما می‌گوید که از کدام سایت جستجوگر می‌خواهید استفاده کنید. اگر از گوگل می‌خواهید استفاده کنید باید جلوی آن Googlebot و یا اگر که می‌خواهید از بینگ Bingbot استفاده می‌کنید و جلوی آن قرار می‌دهید تا بتواند از گوگل یا بینگ کمک بگیرد. درصورتی‌که می‌خواهید تمامی ربات‌ها به سایت شما دسترسی داشته باشند علامت * را قرار دهید. در مرحله بعد شما باید کدهای Allow و Disallow را در فایل قرار دهید مانند مثال زیر:

 

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

 

البته شما به‌عنوان مدیر سایت می‌توانید از افزونه WordPress SEO by Yoast جهت عدم نمایش دسته‌بندی سایت در ایندکس شدن صفحه‌نمایش صفحه‌هایی که ساخته‌شده‌اند استفاده کنید.

هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمت‌های سایتشان نفوذ کند می‌توانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند. شما می‌توانید با استفاده از افزونه‌ای که در بالا ذکر شد کاری کنید که قسمتی از فایل‌ها مانند readme.html در گوگل ایندکس نشود و یا غیرازاین می‌توانید هر فایل دلخواه دیگری را مشخص کنید تا نمایش داده نشود.

در نظر داشته باشید برای نمایش دادن کامل سایت در گوگل شما باید نقشه سایت خود را در robots.txt قرار دهید. البته توسط افزونه WordPress Seo By نقشه سایت شما به‌طور اتوماتیک در فایل قرار می‌گیرد. و دیگر نیازی به قرار دادن توسط شما نیست. البته اگر باز دیدید که در کدهای robots.txt وجود ندارد باید آن را مانند کد زیر در فایل قرار دهید تا گوگل بتواند به نقشه سایت شما دسترسی داشته باشد و محدرات را برای مراجعه‌کنندگان نمایش دهد:

 

User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

 

 

کد بالا به تمامی ربات‌ها اجازه می دهد که بتوانند به نقشه سایت شما دسترسی کامل پیدا کنند.

 

تگ ها:

آخرین مطالب ویرایش شده ...

derakhshanhossein24@yahoo.com

derakhshanhossein24@yahoo.com

ارسال دیدگاه

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *