§4.3. Когда искать нечего

Нередко оказывается так, что поиск заходит в тупик, поскольку вводных данных недостаточно. Рассмотренные в предыдущем параграфе инструменты работают по принципу «что посеешь — то и пожнёшь». Что же делать, когда сеять нечего? Cемена помогает находить смекалка — знания о мире, который, как мы уже выяснили, обязательно оставляет свой отпечаток на данных. В компьютерном мире эти отпечатки ещё и неслучайны, а их формат зарегламентирован стандартами. Правда, обычно избавиться от них можно без особого труда, но об этом мало кто задумывается.

Данные о данных

Говоря об устройстве файлов в первой главе, мы касались темы метаданных, дополнительной сопровождающей информации. В них могут содержаться ценные персональные данные. И очень часто эта информация становится достоянием общества, появляясь в публичном доступе. Любой современный смартфон по умолчанию может с пугающей точностью показать любую фотографию на карте:

В EXIF каждого кадра записывается широта, долгота, а также направление взгляда и высота над уровнем моря. И то, что такие поля в метаданных фотографии существуют — не секрет для многих. В частности — для разработчиков соцсетей, которые не стремятся убирать их из загружаемых пользователями файлов. Более того, они отображают геолокацию чуть ли не на самом видном месте:

В каких-то случаях такое поведение допустимо: вы, например, легко можете выяснить, что медведь проживает в окрестностях Удельного рынка, и теперь знаете, где его можно найти. Однако, куда чаще на снимках оказываются жилища не медведей, а отдельных людей, и их местоположение лучше всё-таки держать в тайне от посторонних. Но, если смартфон настроен сохранять геолокацию в снимки, а о ручном удалении метаданных никто не позаботился, местоположение «просочится» в сеть вместе с фотографией. И это, к сожалению, часто происходит.

Бывают и случаи, когда в метаданные, наоборот, что-то дописывают. Так часто делают профессиональные фотографы, которые оставляют в EXIF-полях данные об авторстве и авторских правах, а также программы-фоторедакторы, которые оставляют после себя особые пометки, сигнализирующие о том, что в изображение было осуществлено вмешательство.

Регистратура интернета

Мы уже знаем, что у каждого компьютера есть IP-адрес — аналог домашнего адреса из реальной жизни. Однако, если бы каждый раз нам пришлось запоминать длинные последовательности цифр для каждого сайта, интернет был бы гораздо менее удобен. Вместо них, как правило, используют домены — наборы слов, разделённых точками. Например, course.ugractf.ru, gov.ru, alt3.aspmx.l.google.com. Во второй главе мы рассказывали, что для того, чтобы открыть какой-либо сайт, сначала домен преобразуется в IP-адрес по протоколу DNS, и только затем совершается запрос на нужный IP-адрес.

Метаданные бывают не только у файлов, но и у сайтов. Часть этих данных появилась благодаря законам разных стран, часть — просто потому, что интернет так устроен. Самые известные метаданные — WHOIS (англ. кто есть). Организации, заведующие доменами, предоставляют базы данных о владельцах сайтов. Запрос в WHOIS можно выполнить с помощью команды whois. У неё есть ключ -a, позволяющий искать по всем известным базам вместо базы по умолчанию (которая содержит записи только для доменов .com, .net и .edu). Кроме того, WHOIS-запросы можно делать и из браузера, например, через сервис организации IANA (англ. Internet Assigned Numbers Authority — «Администрация адресного пространства интернета»).

Вот пример такого запроса для ugractf.ru:

Warning: RIPE flags ignored for a traditional server.
% By submitting a query to RIPN's Whois Service
% you agree to abide by the following terms of use:
% http://www.ripn.net/about/servpol.html#3.2 (in Russian)
% http://www.ripn.net/about/en/servpol.html#3.2 (in English).

domain:        UGRACTF.RU
nserver:       liberty.ns.cloudflare.com.
nserver:       roan.ns.cloudflare.com.
state:         REGISTERED, DELEGATED, UNVERIFIED
person:        Private Person
registrar:     REGRU-RU
admin-contact: http://www.reg.ru/whois/admin_contact
created:       2018-02-12T15:39:58Z
paid-till:     2021-02-12T15:39:58Z
free-date:     2021-03-15
source:        TCI

Last updated on 2020-04-22T21:26:30Z

Регистраторы доменных имён предлагают услугу сокрытия информации во WHOIS-базах, которой часто пользуются владельцы сайтов. Тем не менее, иногда там можно найти личную электронную почту владельца и даже его телефон.

Кроме этого, существует база Certificate Transparency. Это публичная база, в которую заносится каждый TLS-сертификат, выданный центрами сертификации по всему миру. Такие сертификаты позволяют устанавливать соединение по шифрованному протоколу HTTPS. Думайте о сертификате как о публичном ключе владельца сайта, достоверность которого можно проверить криптографическими методами, чтобы убедиться, что вас не прослушивают и что сайт, на коротом вы находитесь, — настоящий. В базе можно увидеть параметры сертификата и сведеиния об организации, его выдавшей. Но самая ценная информация в базе — домены. Запрашивать можно все сертификаты, выданные на конкретный домен или его поддомены. Зная список всех доменов, можно обнаружить внутренние сервисы, которые владелец предочёл не афишировать. Искать их можно, например, на сервисах crt.sh или Censys.

Наконец, структуру доменов можно получить если системный администратор неверно настроил DNS-сервер для своего домена. Кроме стандартных запросов вида «по какому IP-адресу доступен домен example.com», DNS поддерживает множество дополнительных, созданных для обеспечения работы всей распределённой DNS-иерархии. Один из таких запросов называется AXFR (Authoritative Zone Transfer, англ. «трансфер авторитетной зоны»). Он позволяет получить полный список всех записей в DNS для данного домена. На правильно настроенных серверах этот запрос будет отклонён. Однако если вам повезёт, команда dig axfr example.com ns1.example.com на Linux покажет все существующие поддомены нужного сайта. Здесь ns1.example.com — авторитетный DNS-сервер, который считается главным для домена example.com. Его можно получить из WHOIS-запроса. Например, в примере для ugractf.ru один из авторитетных DNS-серверов указан как liberty.ns.cloudflare.com.

Когда совсем не идёт

Данных много. Если не знаете, с чего начать, или куда копать, воспользуйтесь замечательным сайтом OSINT Framework. Этот сайт стимулирует смекалку, демонстрируя всё многообразие данных и способов их получения.