سافت دیزاین
کاربرد نرم افزار، برنامه نویسی و شبکهسافت دیزاین
کاربرد نرم افزار، برنامه نویسی و شبکهموتورهای جستجو: تاریخچه و روش ها
در دنیای اینترنت همه ما با موتورهای جستجو کم و بیش آشنا هستیم و بطور روزانه از آن ها استفاده می کنیم. اما این موتورهای جستجو از کجا آمدند و چطور اینقدر پراستفاده شدند؟
تاریخچه موتورهای جستجو
تا قبل از دهه 90 میلادی که اینترنت در اول راهش بود، موتور جستجویی هم وجود نداشت. تنها لیست هایی از وب سرورها بود که در وب سرور CERN نگهداری می شد. بعد از گسترش اینترنت و نیاز به دسترسی به اطلاعات اولین موتور جستجو به نام Archie در سال 1990 به وجود آمد. البته این موتور جستجو در واقع فقط نام فایل هایی که روی سرورهای FTP عمومی قرار داشت را لیست می کرد. در سال 1991 با معرفی Gopher (پروتکلی برای انتقال اسناد در اینترنت که با آمدن HTTP کم کم محو شد!) دو برنامه جستجوی Veronica و Jughead بوجود آمدند. در سال 1992 لیست های عنوان بندی شده به نام Virtual Library ایجاد شد که باز هم موتور جستجو نبود. در سال 1993 برنامه W3Catalog جستجوی لیست ها در وب را انجام می داد. بعدا در همین سال JumpStation معرفی شد و اولین موتور جستجو بود که سه عمل: گشتن Crawl، فهرست کردن Index و جستجو Search را در عنوان و موضوع وبسایت ها انجام می داد. بعد از آن در سال 1994 موتور جستجوی WebCrawler بوجود آمد که غیر از عناوین و موضوعات، متن های وبسایت را هم فهرست گذاری Indexing می کرد و کاربر می توانست هر کلمه ای با موضوعی را جستجو کند. پس از این موتور جستجو موتورهای جستجوی دیگری مانند Yahoo آمدند که به همین روش عمل کردند.
ایده کسب درآمد از نتایج جستجو از کجا آمد؟
موتورهای جستجو تا سال 98 عملا فقط کار جستجو را انجام می دادند ولی در این سال با ایده کسب درآمد از کلیک روی نتیجه که توسط goto.com بکار برده شد عملا کسب و کار موتورهای جستجو رونق گرفت. در سال 1999 پس از goto.com گوگل هم با هدف استفاده از روش های کسب درآمد از نتایج جستجو بوجود آمد و تغییرات زیادی در کسب و کار موتورهای جستجو بوجود آورد.
سئو (SEO) در موتور های جستجو
با رونق کسب و کار موتورهای جستجو البته مفهوم جدیدی به نام بهینه سازی برای موتور جستجو Search Engine Optimization (SEO) نیز بوجود آمد که به روش های بهینه سازی وبسایت برای کسب رتبه Rank بالاتر در نتایج جستجو اشاره می کند.
روش کار موتور های جستجو
موتورهای جستجو برای ایجاد بهترین نتایج جستجو سه کار اصلی را باید انجام بدهند:
- گشتن وب Web Crawling: اولین کار اساسی موتور جستجو گشتن وب و اینترنت است تا لیستی از وبسایت های فعال در وب را پیدا کند. موتور جستجو این کار را با جستجوی مستقیم وب و لینک های موجود در سایت ها انجام می دهد.
- فهرست گذاری Indexing: موتور جستجو پس از پیدا کردن لیست وبسایت ها نیاز دارد که محتویات آن ها را خوانده و مفاهیم اصلی را فهرست گذاری کند و این اطلاعات را در پایگاه های داده Database خود ذخیره کند
- جستجو Search: کار اصلی یک موتور جستجو که کاربر مستفیم نتیجه آن را می بیند عمل جستجو است. جستجو شامل گرفتن متن جستجو از کاربر، پیدا کردن صفحات مرتبط با متن جستجو و نمایش لیست مرتب شده از نتایج به کاربر می شود. البته در مرتب سازی نتایج، موتور جستجو با توجه به اطلاعات قبلی و سیاست ها روش هایی را برای رتبه بندی Ranking صفحات مرتبط با جستجو به کار می برد که دانستن این اطلاعا کمک زیادی برای بهینه سازی SEO وبسایت خواهد کرد.
انواع و روشهای موتور جستجو
بیشتر افراد موتور های جستجو را فقط گوگل و بینگ می شناسند. تصور بیشتر افراد از یک موتور جستجو یک مجموعه سیستم های متمرکز است که تمام اطلاعا ت وب را می خوانند و ذخیره می کنند. اما در واقع این تصویر، فقط به یک نوع از موتورهای جستجو در اینترنت اشاره دارد که به موتور جستجوی عمومی معروف هستند. ولی انواع دیگری از موتورهای جستجو نیز در اینترنت فعال هستند که روش های دیگری را برای جستجو بکار می برند. موتور های جستجو از نظر روش جستجو به سه نوع کلی تقسیم می شوند:
- موتور های جستجوی عمومی General: روش کار این نوع موتور های جستجو گشتن مستقیم وب است. این نوع موتورها بطور مداوم اینترنت را پایش می کنند و تمام اطلاعات مربوط به وبسایت های قدیم، جدید، فعال و غیر فعال را جمع کردن و در پایگاه داده های خود بروزرسانی می کنند. از معروفترین این موتورهای جستجو می توان به Google، Bing و DcukDuckGo اشاره کرد.
- موتور های جستجوی فراجستجو Metasearch: این موتور های جستجو برعکس گروه اول مستقیما به گشتن وب نمی پردازند. بلکه نتایج خود را از موتورهای جستجوی دیگر جمع می کنند و سعی می کنند بهترین نتیجه را برگردانند. از مزیت های استفاده از این نوع موتورهای جستجو اینست که شما در یک جستجو نتایج چندین موتور جستجو را خواهید داشت. از این نوع موتور های جستجو می توان ixquick، Dogpile و MetaCrawler را نام برد.
- موتورهای جستجوی Peer-to-Peer (P2P): این موتور های جستجو با دو گونه قبلی کاملا متفاوتند. از این نظر که اطلاعات این موتور های جستجو در یک سرور ذخیره نمی شوند بلکه اطلاعات به صورت توزیع شده بین سیستم های مختلف قرار گرفته است. از نمونه های این موتورهای جستجو می توان به YaCy و FAROO اشاره کرد.