حجم وسیع اطلاعات بر روی شبكه وب باعث می گردد تا پاسخ دهی به كاوش های ارسالی از سوی كاربرن، بدون دسترسی به تمام متون و فقط با استفاده از فایل های نمایه صورت گیرد. بدین منظور، در سطح شبكه از روش های مختلف نمایه سازی استفاده می گردد. روش نمایهء انتهای كتاب، استفاده از ابرداده ها، شاخه های موضوعی و ساختار متمركز و پراكنده در فن آوری موتورهای كاوش از روش های دیگر می باشد.بسیاری از موتورهای كاوش از یك ساختار متمركز خزنده-نمایه ساز، سود می جونید. خزنده ها برنامه های نرم افزاری هستند كه عمل پیمایش وب را انجام داده و صفحات جدید و یا به روز در آمده را به سرویس دهنده ای كه قرار است این صفحات در آنجا نمایه شوند، می فرستند.در ساختار پراكنده كه بسیار موءثرتر از نوع متمركز است، مشكلات ناشی از استفاده از ساختار متمركز چون:

1) دریافت درخواست صفحات، توسط خزنده های متفاوت موتورهای كاوش، از سرویس دهندگان وب؛

2) افزایش ترافیك در وب به علت استخراج تمام اشیا و اجزا صفحات وب و نادیده گرفتن اكثر آن ها هنگام نمایه سازی؛

3) جمع آوری اطلاعات بدون همكاری و آگاهی سایر خزنده ها و موتورهای كاوش، مورد توجه قرار گرفته و مرتفع شده است.

از زمان پایه گذاری وب جهانی در اواخردههء 1980، هیچ كس نمی توانست پیش بینی وضعیت و تأثیرات فعلی آن را بكند. رونق وب و رشد فزاینده آن بر كسی پوشیده نیست، به نحوی كه فقط میزان اطلاعات متنی قابل دسترس آن در حدود 1 ترابایت تخمین زده می شود (Baeza-Yates, 1999).اندازه گیری حجم اطلاعات بر روی شبكه اینترنت به ویژه وب كار بسیار دشواری است. بر طبق آمارهایی كه گروه Cyveillance عرضه كرده است، بیش از 1/2 میلیارد صفحه اطلاعات، بدون تكرار و قابل دسترس تا نیمه دوم سال 2000 بر روی وب موجود بوده و برساس همین مطالعات نرخ رشد انفجاری صفحات وب 7 میلیون در روز بوده است. (Pasore, 2000)این بدان معناست كه در حال حاضر تعداد صفحات وب، به میزان سه برابر آن افزایش یافته است و این اطلاعات، براساس آمار NetCraft (2002) به وسیله بیش از 27 میلیون سرویس دهنده وب در اختیار مشتریان قرار می گیرد.حجم وسیع اطلاعات بر روی شبكه وب باعث می گردد تا پاسخ دهی به كاوش های ارسالی را بدون دسترسی به تمام متون و فقط با استفاده از فایل های نمایه صورت دهیم زیرا در غیر این صورت یا بایستی نسخه ای از اطلاعات درخواستی به صورت محلی ذخیره گردد و یا تمام صفحات از راه دور و از طریق شبكه، در هنگام جستجو دسترس پذیر باشد كه این روش ها بسیار گران و كند است. تمام این ها تأثیر و اهمیت، تلاش برای بهبود روش های نمایه سازی و الگوریتم های جستجو را مشخص می سازد.براساس استاندارد نمایه سازی بریتانیا نمایه، ترتیب اصولی از مداخل است كه به منظور قادر ساختن استفاده كنندگان برای یافتن اطلاعات خود در یك مدرك ایجاد می شود. نمایه سازی وب كار ساده ای نیست و لذا برای كمك به درخواست كنندگان اطلاعات در رسیدن به آن در سطح شبكه از روش های مختلف نمایه سازی استفاده می گردد.

● روش نمایه انتهای كتاب در وب

بسیاری از سایت های وب، برنامه ای برای جستجوی سایت خود طراحی كرده اند. این برنامه ها همچون جستجو در فایل های تمام متن می تواند در نتایج جستجوی خود دارای مدارك نامرتبط و در اصطلاح همراه با ریزش كاذب باشد.اگر در چنین سایت هایی نمایه ای شبیه آنچه در انتهای كتاب ها دیده می شود به وجود آید، مراجعه كننده می تواند به سرعت و با استفاده از لیست به مدخل مورد نظر خود وارد شود و با سرعت بالا و از دست دادن زمان كمتری به مدارك مورد نیاز خود وحتی به مدارك مرتبط با آن نیز دسترسی یابد.سایت وب شركت نرم افزاری Adobe با داشتن نمایه ای از نوع كواك(1) و نیز موتور كاوش ویژه سایت، سعی در بالا بردن دسترس پذیری موءثر اطلاعات سایت خود نموده است.سایت دانشگاهی جورج تاون نیز نمایه موضوعی A-Z را در قسمت ابزارهای دسترسی به اطلاعات در صفحه خانگی خود قرار داده است.

● ابرداده(2) و وب

ابرداده به طور مكرر، داده ای برای داده تعریف شده است. این تعریف در عین ضروری بودن ناكافی است. ابرداده، داده ای است دربارهء داده، كه برای شرح منابع یا شیء اطلاعاتی پایه ریزی شده است و داده های منابع و روابط بین آن ها را تشریح می كند. پدیدآورندگان منابع، ناشران، كتابداران و سایر متخصصان اطلاع رسانی می توانند ابرداده را تولید كنند. ابرداده می تواند در درون منابع اطلاعاتی جاسازی(3) و یا در كنار منبع اطلاعاتی و به طور مجزا حفظ شود. (Cleveland, 2001,P.223)قالب ابرداده ای دوبلین كور نمونه ای پیشنهادی از ابرداده است كه دستاورد نشست متخصصان اطلاع رسانی در دوبلین اوهایو به منظور حل مشكلات موجود در توصیف منابع اطلاعاتی موجود بر روی شبكه های كامپیوتری است. این نمونه ای از مفهوم پیوند بین ابرداده و وب است.شاخص های عنوان، پدیدآور، موضوع، ناشر، توصیف (همچون چكیده)، تاریخ ارایه، نوع مدرك، قالب(4) (نیازهای سخت افزاری و نرم افزاری جهت ارایه مدرك)، برچسب منحصر به فرد شناسایی(5)، محل تولید مدرك، زبان اصلی مدرك، چگونگی و محل ارتباط مدرك با سایر منابع، پوشش (بیانگر دامنه، محدوده و عمق مدرك) و مدیری حق موءلف، در قالب دوبلین كور پیشنهاد گردیده است. (Cleveland, 2001,P.224)

● شاخه های موضوعی

بعضی از ابزارهای جستجوی وب سعی در مرور سایت ها توسط افراد متخصص كرده و پس از تحلیل محتوی سایت، كلیدواژه مناسب را انتخاب و آن را در محل موضوعی، براساس لیست موضوعی ویژه خود قرار می دهند و در واقع یك راهنمای موضوعی را برای استفاده كننده فراهم می آورند. این در واقع به آن معناست است كه در زمانی كه موتور كاوش به طور معمول برای هدایت فرد به سایت، تمام صفحات آن سایت را نمایه كرده است، ولی از سوی دیگر یك راهنمای موضوعی بسیار شبیه یك پیوند به صفحه خانگی آن سایت تلقی می گردد. (Tyner, 2001).سایت Open Directory و Looksmart دو نمونه بارز از این نوع سایت ها می باشند.

● فن آوری موتورهای كاوش ساختار متمركز

بسیاری از موتورهای كاوش از یك ساختار متمركز خزنده-نمایه ساز(6) سود می جویند. خزنده ها برنامه های نرم افزاری هستند كه عمل پیمایش وب را انجام داده و صفحات جدید و یا به روز درآمده را به سرویس دهنده ای كه قرار است این صفحات در آنجا نمایه شوند، می فرستند. یك خزنده به عنوان نقطه شروع یك URL را دریافت كرده و انتقال صفحات وب را-همچون ایستگاه كاری كه صفحات را مرور می كند-به سرویس دهنده آغاز می نماید. پس از انتقال یك مدرك، سازه یاب(7) شروع به استخراج واژه های مرتبط با متن كرده و آن ها را به پایگاه داده می افزاید. هر ركورد اطلاعاتی در این پایگاه شامل واژه استخراج شده و URL مربوط به آن می باشد. قابل ذكر است، تعدادی از خزنده ها واژه های موجود در بین برچسب هایی خاص نظیر، <TITLE>,<H1>... و یا واژه های با بسامد بالا می نمایند.JumpstationII از این نوع است كه علاوه بر آن واژه های موجود در عناصر <HEADER> (<Hi>,1<=I<=6) و واژه های با بسامد بالا در برچسب <BODY> را استخراج می كند.خزنده WWWW واژه های موجود در عنصر URL, <TITLE> و <A> (ابر پیوندهای موجود در مدرك) را نمایه می كند.در حقیقت خزنده به درون رایانه نفوذ نمی كند، بلكه بر روی یك رایانه محلی اجرا شده و درخواست های خود را به رایانه های سرویس دهنده در نقاط مختلف ارسال می كند. عمل نمایه سازی در این روش به طور متمركز صورت می گیرد.شكل زیر ساختار نرم افزاری متمركز موتور كاوش AltaVista را نشان می دهد.