Auch crawler oder spider genannt. Ein Programm, das HTML-Dokumente einliest und zur weiteren Verarbeitung, z.B. für eine Volltext-Suchmaschine, analysiert. Dabei werden ggf. auch Hypertext-Verweise verfolgt, so daß, ausgehend von einem Startdokument, alle Seiten einer Web-Site erfaßt werden.