Wenn du eine robots.txt hast, dann obliegt es der Suchmaschine, ob sie das zur Kenntnis nimmt oder nicht. Man delegiert die Entscheidung und die Zeit des "don't be evil" ist eigentlich vorbei. Mit einem Captcha ist alles klar und ja, es kann sicher geknackt werden. Es ist halt eine Frage des Aufwandes (Rechenzeit kostet Geld). Google ist zudem bei weitem nicht die einzige Suchmaschine da draußen, da gibt es viele viele mehr die heute auf Sammeltour sind und von denen wir nicht wissen, welchen Service sie morgen mit diesen Daten anbieten (z.B. ein "politisches Profil" vielleicht?).