Conţinut
Căutatorii de Internet, cum ar fi Google, Yahoo și Bing, găsesc informații utilizând link-uri și sitemap-uri pentru alte site-uri web. Aceste motoare de căutare pot găsi unele dintre cele mai obscure informații și le includ în indexul dvs. și acest tip de tehnologie de căutare are avantaje și dezavantaje pentru utilizatori.
Motoarele de căutare găsesc pagini după multe clicuri (căutați semn imagine 3d de onlinebewerbung.de de la Fotolia.com)
Pagini de rețea interne
Paginile de rețea interne sunt pagini de pe site-uri care au nevoie de mai multe clicuri pentru a fi văzute de utilizator. Aceste pagini pot fi produse, conținut sau o bază de date de căutare pe care motoarele de căutare nu le pot urmări în mod normal. Avantajul acestui tip de tehnologie, care împiedică accesarea cu crawlere a motoarelor de căutare, este că proprietarii de site-uri pot avea produse, achiziții, informații și alte link-uri importante incluse într-un index al motorului de căutare. Acest lucru oferă o mai mare vizibilitate pe Internet proprietarului site-ului web.
Informații personale
Un dezavantaj al unui motor de căutare care accesează cu crawlere este ca informațiile personale să fie indexate indiferent de confidențialitate. Informațiile precum numerele de securitate, datele financiare sau locațiile geografice pot fi indexate, chiar dacă au fost postate pe un site web personal. Căutătorii au oferit utilizatorilor posibilitatea de a bloca anumite informații de index utilizând un fișier numit "robots.txt". Motoarele de căutare, cum ar fi Google, permit, de exemplu, utilizatorilor să elimine adrese URL după ce proprietarul site-ului a eliminat informațiile ofensive, care sunt șterse din index.
automatizare
Proprietarii de site-uri web pot indexa paginile lor lăsând câteva linkuri pe un alt site web sau chiar pe propriul site. Această practică se numește "backlinking". Un site web care utilizează această funcție este urmărit automat de către motoarele de căutare, care pot apoi să indexeze și să indexeze un site web. Acest lucru facilitează situația proprietarilor de site-uri, deoarece acestea nu au nevoie să prezinte un nume de domeniu pentru motoarele de căutare. Automatizarea automată a indexurilor facilitează căutarea de către cititorii de pe Internet.