آموزش سئو در مشهد

درین نوشته‌ی علمی ما میخواهیم در باب در اختیار گرفتن کراولر های موتور کاوش، بلاک کردن آموزش سئو در مشهد ربات ها، صادر کردن آنها به جا هایی که می‌خواهیم و محصور کردن آن ها از جایی که نمیخواهیم به آن جا بروند، حرف کنیم.

برای آغاز، ما میخواهیم در زمینه‌ی طریق های در دست گرفتن ربات ها مشاجره کنیم، که مشمول سه نحوه اساسی robots.txt، meta robots و تگ nofollow که کمتر ربات ها را در دست گرفتن می نماید.

همینطور چندین آیتم دیگر نیز وجود دارااست که ما نیز در امر آن‌ها مشاجره خوا‌هیم کرد، مثلا ابزار اینترنت مستر (مانند Google Search Console) و کدهای حالت URL نیز کلام خوا‌هیم کرد. البته در صدر اذن دهید که به سه طریق اساسی که در ابتدا بیان کردیم، بپردازیم.

همانگونه که میدانید Robots.txt در yoursite.com/robots.txt جای دارد، که به کراولر ها می‌گوید که اذن دارا‌هستند به کجا دسترسی داشته باشند و به کجا دسترسی نداشته باشند، ولی گوگل و بینگ مدام به محتوای این پوشه احترام نمی گذارند. مثلا بخش اعظمی از ما ها خیلی بدیهی به ربات های موتور کاوش گفتیم که «هی، به‌این کاری نداشته باش» ولی یک وهله میبینید که همین URL را در حاصل اکران میدهد، کلیه ی ما از این فعالیت موتور کاوش تعجب می‌کنیم که چرا این پیش آمده میباشد. بعضی وقتها موتور های کاوش مانند گوگل و بینگ فکر می‌کنند که بیشتر و خوب از شما و وب سایت شما و استحضار دارا‌هستند و خوب بلدند. آنان فکر‌میکنند که شاید شما نادرست نموده اید، و با خویش فکر‌می کنند که «هی، پیوند های متعددی وجود داراست که به‌این محتوا اشاره می نمایند، یوزرها متعددی از این ورقه و محتویات آن بازدید می نمایند و به آن التفات میدهند، پس ممکن میباشد که شما قصد نداشته باشید که جلوی ما‌را برای ایندکس کردن این ورقه بگیرید». هر تعدادی شما خوب در باره ی یک URL خاص و منحصر، بدیهی خیس باشید، معمولا موتورهای کاوش خوب به لحاظ شما احترام می‌گذارند. در‌صورتی‌که وضوح شما کمتر باشد موتور های کاوش کمتر به آن احترام نمی گذارند، به عنوان مثال شما میتوانید به موتور های کاوش بگوید که«این دایرکتوری و هر چیزی را که پشت آن قراردارد را بی خیال و خاطر شو» در‌این‌حالت‌ احتمال این که موتو های کاوش به‌این منظور شما فعالیت نمایند بسیار معدود خواهد بود.

روایت متا روبات ها Meta robots پاره ای گوناگون میباشد، آنان به طور اختصاصی در هدر صفحات نوشته میگردند، پس قادر خواهیم بود اعلام کرد شما با تگ Meta robots فقط می‌توانید یک ورقه را در اختیار گرفتن فرمایید. این تگ به موتور های کاوش میگوید که آیا می بایست یک شیت را وارد لیست ایندکس خویش بکنند یا این که خیر. موتور های کاوش معمولا بدین طریق احترام بیشتری میگذارند زیرا شما آن را منحصرا برای یک کاغذ نوشته اید و گوگل و بینگ می‌خواهند به تگ Meta robots شما متکی بودن داشته باشند.

نکته دیدنی راجب به meta robotها و robots.txt این میباشد که گاهی این دو با هم شغل می نمایند و گاها نیز با هم عمل نمیکنند و اکثری از اشخاص اشخاص فعال در ضمینه بهینه سازی در‌این ضمینه حیران و نا آرزو میگردند.

مثلا، ما یک کاغذ مانند «blogtest.html» در دامنه خویش داریم و میگوییم که «کراولر ها، شما اذن ندارید که‌این شیت را کراول نمائید». بهتر این طرز نیکی میباشد که اذن ندهیم که‌این شیت کراول خواهد شد، البته اذن ندادن به ربات ها که یک کاغذ را کراول نمایند به‌این مضمون‌ وجود ندارد که موتور های کاوش این شیت را در کاغذ ی نتیجه ها نشانه ندهند.