Keď vytvárame nejakú stránku či už nejaký jednoduchý html kód, skript v php alebo používame nejaký systém na správu obsahu napríklad ako Drupal či WordPress mali by sme si dať vždy záležať na tom, že povieme robotom o tom kam môžu vôjsť na mojej stránke a kam nie.