راز و رمز موتورهای جست وجوگر

شاید بتوان گفت که اینترنت بدون حضور موتورهای جست وجویی که در حال حاضر وجود دارد بیشتر از نصف کارایی و جذابیت خود را برای کاربران از دست خواهد داد. این روزها موتورهای جست وجو عصای دست بسیاری از کاربران هستند و ما را تا حدود زیادی بی نیاز از دیگران کرده اند. برای پاسخ دادن به هر سئوالی که به ذهنمان وارد می شود، کافی است که به اینترنت دسترسی داشته و با یک جست وجوی ساده در عرض یک چشم به هم زدن به آن چه که مورد نیازمان است برسیم. خلاصه در یک کلام باید گفت که این موتورها در حقیقت موتور اینترنت هم هستند و باعث روشن ماندن و جذابیت بیشتر این فناوری شده اند.

برای مشاهده بیشتر به ادامه مطلب مراجعه کنید

  شاید بسیاری از کاربران با عنوانی با نام « موتور جست وجو» آشنایی نداشته باشند در حالی که تا به حال از آن زیاد استفاده کرده اند. به عنوان مثال ممکن است که شما بارها به سایت گوگل سر زده باشید اما دقیقا ندانید کاری که در این سایت انجام می شود چه بوده و به چه صورتی انجام می گیرد. سال 1992 بود که شبکه جهانی وب یا همان اینترنت به راه افتاد و امروزه در هر زمینه ای که بتوان تصور کرد، اینترنت یک ابزار بسیار موثر و توانمند به حساب خواهد آمد. باید بدانید که در حال حاضر جهان اینترنت منبع بسیار بزرگی از اطلاعات است که روز به روز هم بر حجم این منبع اضافه می شود. اکنون بیش از میلیاردها صفحه که اطلاعات زیادی از موضوعات مختلف را در خود دارند روی سرورهای مختلف اینترنتی قرار گرفته‌اند. نرخ رشد این اطلاعات به جایی رسیده است که امروزه مشکل دسترسی به اطلاعات بسیار جدی تر از نبود اطلاعات شده است. این حرف به این معنی است که شاید بتوان گفت دغدغه اصلی کاربران امروزی این شده است که درگیر این نیستند که برای موضوعی خاص به دنبال مطلب بگردند بلکه تمامی اطلاعات مورد نیاز آن ها وجود دارد و تنها باید تصمیم بگیرند که اطلاعات کدام صفحه مناسب تر و معتبرتر است که از میان تعداد عظیم صفحات موجود در اینترنت، آن صفحه را برای خواندن انتخاب کنند. به این ترتیب اگر ابزاری وجود داشته باشد که این عملیات انتخاب را برای ما انجام داده و به افراد در پیدا کردن اطلاعات مورد نیازشان کمک کند بسیار خوب خواهد شد. در واقع این ابزارها در حال حاضر هم وجود دارند و افراد آن ها را با نام «موتور جست وجو» می شناسند. در حقیقت موتورهای جست وجو با گرفتن کلمه یا عبارتی از کاربر، لیستی از سایت های مرتبط با موضوع مورد علاقه او را نمایش خواهند داد. در موضوع ویژه این هفته قصد داریم که نگاهی به موتورهای جست وجو و نحوه کار کردن آن ها داشته باشیم. اگر شما هم از اینترنت برای پیدا کردن مطالب مورد نظرتان استفاده می کنید بد نیست که با روش کار این موتورها آشنا شوید تا با انجام یک جست وجوی صحیح، بهترین نتایج را به دست آورید.

چرا موتورها به وجود آمدند؟

ممکن است که میلیاردها صفحه اینترنتی وجود داشته باشد که در مورد موضوعات مختلف اطلاعات مورد نیاز شما را در اختیارتان قرار دهند اما شما از وجود این صفحات اطلاعی نداشته و حتی نتوانید به دنبال آن ها بگردید. به این ترتیب وجود این سایت ها عملا بی فایده خواهد بود. با توجه به این که تعداد سایت های مختلف به شکل صعودی در حال رشد است لزوم یک مرکز برای شناسایی این پایگاه ها به منظور استفاده بهتر و بیشتر کاربران، ضروری به نظر می رسید. تا به حال هیچ مرکز رسمی بین المللی مسئولی در اینترنت به وجود نیامده است که اسامی و آدرس سایت هایی که در اینترنت منتشر می‌شوند را به کاربران اعلام کند و به همین دلیل تنها راه پیدا کردن آن سایت ها این است که آدرس دقیقشان را داشته باشیم. این کار هم در ظاهر ساده به نظر نمی رسد و به همین دلیل بود که موتورهای جست‌وجو برای آسان شدن دسترسی کاربران به مطالب موجود در سایت های اینترنتی راه اندازی شدند. اگر بخواهیم کمی بیشتر توضیح دهیم باید گفت که اکنون بدون موتورهای جست وجو نمی توانیم از به روز رسانی های سایت های اینترنتی مختلف مطلع شویم. با این اوصاف می توان به آسانی فهمید که بزرگترین و مهمترین توانایی موتورهای جست وجوگر این است که می توانند مخاطبان واقعی هر سایتی را برای آن شناسایی کرده و جذب کنند به این ترتیب صاحبان وب سایت ها از شر مخاطبان وبگرد و سرگردان خلاص خواهند شد. آمارهایی که به تازگی منتشر شده نشان از این دارد که بسیاری از کاربران سفر خود در جهان مجازی را با موتورهای جست وجو آغاز می کنند و در حال حاضر استفاده از این موتورها بسیار عادی شده است و بعد از ارسال و دریافت نامه های الکترونیکی یا همان ایمیل ها، جست وجو کردن و کار با موتورهای جست وجو، دومین فعالیت عمده کاربران در اینترنت به حساب می آید. هر چه تعداد کاربران اینترنتی و همچنین تعداد مطالب و محتوای موجود در اینترنت بیشتر شود این نیاز هم بیشتر احساس می شود که این اطلاعات به شکلی بایگانی شده و دسته بندی شوند. در حقیقت موتورهای جست وجوگر وظیفه بایگانی این صفحات و سایت ها را به عهده دارند و می توانند تمامی اطلاعات را در زمان مورد نیاز به سرعت در اختیار کاربران قرار دهند. معمولا این گونه است که سایت هایی که توسط یک موتور به عنوان نتیجه جست وجو نمایش می دهد، به ترتیب بر حسب میزان ارتباط با عبارت جست وجو شده به صورت نزولی لیست می‌شوند. یعنی در نتایج ارائه شده سایتی که به عنوان اولین نتیجه به شما نشان داده می شوند، مرتبط‌ترین نتیجه خواهد بود. تا به این جا در این رابطه صحبت کردیم که موتورهای جست وجو به چه دلیل به وجود آمده و از دیدگاه کاربران وب چه اهمیتی دارند. اما بد نیست که نگاهی هم به این موضوع داشته باشیم که آیا موتورهای جست وجو از نظر تجاری و از دیدگاه مدیر یک وب سایت هم دارای اهمیت می باشند یا نه؟

مدیران سایت و جست وجوگرها

این گونه نیست که جست وجوگرها یک ابزار یک منظوره باشند و تنها به درد کاربران اینترنتی بخورند و اطلاعات مورد نیازشان را در اختیارشان قرار دهند. در واقع باید گفت که موتورهای جست وجو یکی از مهم‌ترین ابزارها برای فعالان عرصه تجارت الکترونیک به حساب می آیند. برای کسی که صاحب کسب و کار اینترنتی است، ضروری به نظر می رسد که بتواند بیننده های زیادی را به سایتش هدایت کند. در واقع هر چه تعداد بازدیدکنندگان یک وب سایت بیشتر باشد، احتمال موفقیت آن هم بیشتر خواهد بود. اگر کسی به دنبال فروش کالا و ارائه خدمات از طریق اینترنت است باید به اندازه کافی بیننده داشته باشد تا بتواند به سود مناسبی دست پیدا کند. بدون تردید اگر سایتی بیننده نداشته باشد دچار یک مرگ آنلاین خواهد شد و به همین دلیل است که مدیران و طراحان سایت به درستی آگاه هستند که فقط این که یک سایت طراحی خوبی داشته باشد نمی توان تضمین کرد که بیننده کافی هم دارد. بلکه باید فکری هم برای جذب بیننده به سایت داشته باشیم. بدون شک در این لحظه باید به موتورهای جست وجو فکر کرد زیرا اگر آدرس وب سایت ما در نتایجی که توسط این موتورها نشان داده می شود، بالاتر دیده شود، امکان بازدید از وب سایت ما بیشتر خواهد شد. در حال حاضر بیش از 82 درصد از کاربران اینترنتی از موتورهای جست وجو به عنوان ابزار اصلی خود برای یافتن وب سایت ها استفاده می کنند. و 57 درصد از کاربران اینترنتی هم هر روز در اینترنت به جست وجو پرداخته و از این راه به دنبال کالاها و خدمات مورد نیاز خود می گردند. اگر بخواهید اهمیت و نقش عمده موتورهای جست وجو در اینترنت را بیشتر درک کنید باید بگوییم که اکنون بیش از 85 درصد از ترافیک هدفمندی که در اینترنت وجود دارد به دلیل موتورهای جست وجو است و تمامی این آمار و ارقام در کنار هم نشان از این دارد که موتورها بهترین ابزار برای مدیران وب سایت ها هستند تا به خریداران کمک کنند که سریع تر به وب سایت آن ها هدایت شوند. معمولا این گونه است که کاربران در بیشتر موارد تمایل به دیدن 10 رتبه اولی که در نتایج جست وجو وجود دارد، دارند و می دانند که این صفحات اولیه قادر هستند که به نیاز آن ها پاسخ دهند اما آمارها به این شکل است که چیزی در حدود 70 درصد از کاربران در هنگام عملیات جست وجو تنها روی سه سایت ابتدایی نتایج کلیک می کنند و از تنها 7 درصد از کاربران به دنبال مشاهده سایت هایی هستند که در رتبه های بیستم به بعد قرار دارند. بیش از 85 درصد از کاربران هم اگر جوابی برای جست وجوی خود در 10 نتیجه اول نمایش داده شده ندیدند، موتور جست وجوگر خود را عوض می کنند. 33 درصد از کاربران هم در این فکر هستند که سایتی که در ابتدای نتایج جست وجو به آن ها نشان داده می شود در مورد موضوع جست وجو شده، سرآمدتر از دیگر سایت هاست و مطالب بهتری نسبت به دیگر رقبای خود دارد. این آمار نتیجه بسیار واضحی دارند این که اگر سایتی در رتبه بالای نتایج جست وجو قرار نگیرد، بخش مهم و بزرگی از مخاطبان خود را از دست خواهد داد. در حال حاضر تجارت الکترونیک با مسئله رتبه بندی در موتورهای جست وجو سازگاری زیادی پیدا کرده زیرا رتبه های بالاتر روی فروش بیشتر تاثیر مستقیمی دارد و اکنون این وب سایت شرکت گوگل است که در این رابطه بیشتر از همه به کاربران کمک می کند و بیشتر مردم اگر به دنبال موضوعی در اینترنت می گردند مستقیما به سراغ موتور جست وجوی شرکت گوگل می روند. تمامی این مسائل باعث می شود که مدیران سایت ها به دنبال این باشند که رنکینگ خود را در موتورهای جست وجو بالا ببرند به این معنا که در رتبه های بالاتری به کاربران نمایش داده شوند، البته این کار باعث نمی شود که شما به صورت 100 درصد به موفقیت دست پیدا کنید زیرا برخی از روش‌هایی که برای این کار مورد استفاده قرار می گیرد بعد از مدتی باعث می شود که موتور جست وجو، وب سایت شما را به عنوان یک عامل متقلب شناسایی کرده و از نتایج جست وجو به صورت کلی حذف می کند. به همین خاطر مدیران باید در این رابطه بسیار محتاط و آگاهانه عمل کنند.

چگونه کار می کنند؟

تا به حال شده است که به این موضوع فکر کنید که در زمانی که چند کلمه را در مستطیل سفید رنگ یک موتور جست وجی قوی مانند گوگل، تایپ می کنید، دقیقا چه اتفاقی می افتد؟ شما چند لغت را وارد این موتور جست وجو می کنید و پس از مدتی در حد یک چشم به هم زدن، گوگل به شما نتایجی را نشان خواهد داد در حالی که نمی دانید در پشت پرده دقیقا چه اتفاقی افتاده است. هر موتور جست وجویی از یک سری الگوریتم خاص و اختصاصی برای نمایش نتایجش استفاده می کند و الگوریتم دقیقی که گوگل از آن استفاده می کند، دقیقا مشخص نیست اما کلیات آن مشابه به آن چیزی است که توسط موتورهای جست وجوی مشابهش هم مورد استفاده قرار می گیرد. در مورد طرز کار کلی موتورهای جست وجو باید گفت که تمامی این موتورها به عنوان اولین راه برای کاهش زمان جست وجو از روش پیش پردازش محتوای وب سایت ها استفاده می کنند. در این زمان اگر یک کاربر درخواستی را از یک موتور جست وجو داشته باشد به جای این که آن درخواست به میلیون ها وب سایت فرستاده شود از طریق عملیات پیش پردازش با داده های موجود مقایسه می شود و در صورت وجود هر گونه مطابقتی نتایج به ما نمایش داده خواهد شد. انجام عملیات پیش پردازش با استفاده از برنامه نرم افزاری با نام crawler انجام می گیرد و این برنامه با کمک از نگهدارنده ها و به روزکنندگان بانک های اطلاعاتی فرستاده می شود تا فهرست صفحات وب را جمع آوری کند. در کنار این عملیات یک برنامه دیگر هم صفحات بازیافت شده را پیمایش می کند تا کلمات را از آن استخراج کرده و سپس این لغات مرتبط به همراه یک لینک که مربوط به آدرس صفحه است، در یک فایل با نام شاخص ذخیره خواهند شد. تمامی جست وجوهایی که کاربران انجام می دهند با این فایل شاخص مقایسه می شوند و عملیات تطابق در حقیقت با این فایل انجام می گیرد نه کل وب سایت های موجود در اینترنت.

گام بعدی، اولویت بندی

کار بعدی که انجام می شود این است که نتایجی که به دست می آیند با یک اولویت خاص به کاربر نشان داده شوند. تعداد لینک ها یا در اصطلاح همان Urlهایی که به عنوان نتایج جست وجو تولید می شوند، بسیار زیاد است. ولی مشخص است که تمامی این نتایج به درد بخور نیستند و کاربر از دیدن حجم زیاد آن ها خوشحال نخواهد شد. پس بهتر است که برای این که دسترسی سریع تری به صفحات به درد بخور داشته باشیم، صفحاتی که موضوع مرتبط‌تری دارند در اولویت بالاتری قرار گیرند. برای اولویت بندی هم روش های متفاوتی وجود دارد و در این روش ها چگونگی توزیع شدن کلمات و تعداد تکرار آن ها بررسی می شود و برای هر کلمه یک وزن عددی تولید می شود. معمولا بیشتر افرادی که در بالا بردن رنکینگ سایت در موتورهای جست وجو، ادعای تخصص دارند، سعی می کنند با روش هایی مانند تکرار کلمات اولویت نمایش شما را بالا ببرند. وزن عددی تولید شده در این روش به معنی درجه اهمیت و اعتبار کلمات در اسناد مختلف است. به این کار در حقیقت وزن دهی واژه یا term weighting گفته می شود. هر چه تعداد دفعات تکرار یک واژه بیشتر باشد اهمیت آن واژه بالاتر خواهد رفت و هر چه تعداد صفحات یا اسنادی که شامل آن واژه است بیشتر باشد اهمیت آن واژه در تمایز اسناد کمتر خواهد بود. به طور معمول این گونه است که کلمه هایی که در عنوان یک صفحه قرار می گیرند به عنوان مهم ترین کلمات آن متن شناخته می شوند. موتور جست وجوی گوگل از این روش برای بالا بردن نتایج جست وجوی خود استفاده می کند. شاید اکنون راحت تر بفهمید که چرا در زمانی که جست وجویی را انجام می دهید نتایج بی ربطی که بیشتر مربوط به سایت های تبلیغاتی است در چند مورد اول به شما نمایش داده می شود. وقتی روی این موارد کلیک می کنید، با صفحاتی مواجه خواهید شد که در بالای آن صفحات یا درون صفحه تعداد زیادی از کلمات مربوط به آن چه که شما جست وجو کرده اید، نوشته شده است ولی چیز خاص و مفیدی در محتوای سایت وجود ندارد و به جای آن با حجم انبوهی از تبلیغات مواجه خواهید شد. این همان چیزی است که در قبل هم در مورد آن صحبت کردیم و بیشتر افراد سعی می کنند که با استفاده از این روش ها بلایی سر موتور جست وجو بیاورند که آن ها را به عنوان یک نتیجه برتر به کاربر نشان دهد. اما اگر مشخص شود که شما چه کاری برای بالا آمدن در نتایج انجام داده اید برای همیشه توسط آن موتور جست وجو بلاک خواهید شد.

موتورها همه چیز را حدس می زنند

بخش دیگری که برای کاربران جذابیت دارد این است که زمانی که در حال تایپ کردن یک عبارت در باکس جست وجو هستند، خود موتور سعی می کند که حدس بزند که شما به دنبال چه کلماتی هستید و مواردی را به عنوان پیشنهاد به شما نشان می دهد. برای این که در این رابطه برای شما توضیح دهیم باید با مفهومی با نام Caching آشنا شوید. در حین عملیات Cache آن چیزی که به تازگی از سوی کاربران دیگر جست وجو شده و به درخواست شما هم نزدیک است، در جایی نگهداری می شود و در زمانی که کاربر پرس و جوی خود را به موتور جست وجو ارسال می کند مورد استفاده قرار می گیرد. به عنوان مثال زمانی که موتور جست وجو به شما املای صحیح کلمه ای را اعلام می کند یا از شما می پرسد که شاید منظور شما فلان کلمه است، از این روش استفاده می کند. راه دیگری که برای سرعت دادن به پاسخ دادن به درخواست های کاربران مورد استفاده قرار می گیرد توجه به مکان جغرافیایی کاربر است. هر کسی با توجه به مکانی که در آن زندگی می کند می‌تواند جست وجوهای متفاوتی داشته باشد. در کنار تمامی این روش ها که همه آن‌ها به صورت مشترک توسط تمامی موتورهای جست وجو به کار گرفته می شوند، هر شرکتی هم روش های مخفی و انحصاری برای خود دارد که از آن ها صحبتی به عمل نمی آورد. به خاطر تفاوت های موجود در همین الگوریتم های مخفی است که یک موتور جست وجو بسیار عالی عمل می کند و موتور دیگری ضعیف تر ظاهر می شود.

انواع موتورهای جست وجو

موتورهای جست وجو به دو دسته کلی تقسیم می شوند. در دسته اول موتورهای جست وجوی پیمایشی و در دسته دوم فهرست های تکمیل دستی قرار می گیرند. به عنوان نمونه وب سایت گوگل جزو دسته اول قرار خواهد گرفت زیرا به صورت خودکار لیست خود را تشکیل می دهد و از طریق پیمایش اینترنت آن چیزی که کاربران نیاز دارند را ارائه می کند. اگر شما در صفحات سایت خود تغییراتی را ایجاد کنید، این دسته از موتورهای جست وجو به صورت خودکار می فهمند و لیست این تغییرات را اعمال خواهند کرد. اما در دسته دوم این موارد وجود ندارد و این موتورهای جست وجو به کاربران خود وابسته هستند. در صورتی که شما تغییری را در صفحات خود ایجاد کنید باید به موتور جست وجو هم خبر داده و خواستار اعمال تغییرات شوید. البته دسته سومی هم وجود دارد که به دسته ترکیبی مشهور شده است. در این دسته از موتورها مانند موتور جست وجور MSN هستند که در حقیقت بیشتر نتایج حاصل از فهرست های تکمیلی دستی را نشان می دهند ولی در کنار آن نگاهی هم به نتایج به دست آمده از روش پیمایشی دارند. موتورهای جست وجوی عمومی مانند گوگل، یاهو، Ask، بینگ یا الکسا اینترنت از روش پیمایشی استفاده می کنند. در حال حاضر چیزی در حدود 70 موتور جست وجو عمومی، متن باز، محلی، تخصصی و فرا جست وجو داریم اما بیشتر کاربران وقتی صحبت از موتور جست وجو می شود به یاد گوگل یا در نهایت یاهو و بینگ می افتند. شاید دلیل برتری این موتورها این باشد که بهتر عمل کرده یا این که کاربران بیشتر به آن ها عادت کرده اند.