Вообще-то, robots.txt в скандале с попаданием SMS абонентов Мегафона в базу Яндекса ни при чём. Очевидно, облажался кто-то из сотрудников Мегафона. Даже если robots.txt отсутствовал, конфиденциальные данные никак не должны быть доступны любому, кто знает точную ссылку.

Возможно, кто-то из отправивших SMS-ку засветил ссылку на текст своей смс-ки, например, у себя в блоге, затем робот яндекса её обнаружил, перешёл на директорию выше, которая мало того, что не была запрещена в robots.txt, а даже не запаролена или не закрыта для посторонних IP.