آشنایی با ساختار موتورهای جستجو به شما به عنوان یک وب مستر کمک می کند بتوانید در امر سئو سایت موفقیت آمیزتر عمل کنید و از رقبا جلو بیفتید.

هر موتور جستجو دارای سه بخش اصلی است:

الف- عنکبوت یا ربات خزنده یا ربات اطلاعاتی
ب- نمایه یا پایگاه اطلاعاتی
ج- نرم افزار جستجو

ربات های اطلاعاتی برنامه هایی هستند که با جستجوی مستمر و مداوم در صفحات اینترنت و نیز پیگیری پیوندهای میان صفحات، یافته های خود را به موتورهای جستجو باز می گردانند. این فرآیند به صورت منظم در دوره های مشخص زمانی (هفتگی، دو هفته یا نه و …)انجام می شود. چنین روالی را گردآوری نیز می نامند. در حال حاضر حدود دویست نوع ربات مختلف برای جمع آوری اطلاعات در موتورهای جستجو به کار می روند که هر یک از این ربات ها می توانند یک یا چند پروتکل مختلف شامل HTTP، WAIS، FTP و GOPHER را حمایت و تا ده میلیون صفحه را در روز مشاهده کنند.
ربات اطلاعاتی یافته های خود را به پایگاه اطلاعاتی یا همان دیتا بیس موتور منتقل می کند. دیتابیس شامل نسخه ای از همه صفحاتی است که روبات یافته است. نحوه نمایه سازی در پایگاه های اطلاعاتی متداول است، در این فرایند دو نکته اصلی وجود دارد. یکی انوع و حجم اطلاعات استخراج شده و دیگری نحوه ساماندهی این اطلاعات در پایگاه اطلاعاتی
یکی از تفاوت های اصلی موجود در “سئو سایت در انواع موتورهای جستجو”، ناشی از روال انجام فرایند ایندکس کردن در پایگاه های اطلاعاتی آن ها است. اطلاعات ایندکس شده از طریق نرم افزار جستجو در اختیار کاربر قرار می گیرد. این نرم افزار برنامه ای است که از میان همه صفحات موجود در دیتابیس، آنچه را که کاربر جستجو کرده پیدا می کند و بر اساس میزان تناسب و ارتباط آن با درخواست، واژه یا عبارت موردنظر را رتبه بندی می کند. چنین فرآیندی را بازیابی می نامند. بدیهی است روند بازیابی کاملا به نحوه ایندکس شدن اطلاعات در پایگاه اطلاعاتی یا همان دیتابیس موتور جستجو وابسته است. هرچه ایندکس سازی دقیق تر و منظم تر باشد، بازیابی اطلاعات نیز سریع تر و صحیح تر انجام خواهد شد. بخشی از نرم افزار جستجو بر اساس معیارهای از پیش تعیین شده که در بحث سئو سایت مورد بحث قرار می گیرد، کار رتبه بندی اطلاعات بازیافتی را انجام می دهد. با توجه توضیحات گفته شده، ملاحظه می شود که نرم افزار جستجو بیشتر به کاربر و روبات اطلاعاتی بیشتر به منابع اطلاعاتی اینترنت نزدیک است. یعنی اطلاعات موجود در اینترنت توسط ربات ها به پایگاه اطلاعاتی یا همان دیتابیس منتقل می شود. پس از جستجوی کاربر، اطلاعاتی که در موتورهای جستجو به کاربر بازگردانده می شود توسط نرم افزار جستجو از پایگاه اطلاعاتی استخراج می شود. یعنی برخلاف تصور غالب، موتورهای جستجو، اطلاعات را نه از اینترنت بلکه از پایگاه های اطلاعاتی خود، مورد جستجو و بازیابی قرار می دهند. بدین ترتیب گرچه موتورهای جستجو پایگاه اطلاعات خود را از صفحات موجود در شبکه اینترنت به دست می آورند، لیکن گردآوری اطلاعات از اینترنت به صورت دوره ای و در فواصل معین رخ می دهد. از این رو می توان گفت جستجو از طریق موتورهای جستجو، جستجوی ناپیوسته (گسسته زمانی) است.