МИНОБРНАУКИ РОССИИ
Федеральное государственное бюджетное образовательное учреждение
высшего образования
«МИРЭА – Российский технологический университет»

Институт кибербезопасности и цифровых технологий

ОТЧЁТ ПО ПРАКТИЧЕСКОЙ РАБОТЕ №8
по дисциплине
«Методы сбора и обработки данных из открытых источников»
Выполнил:
студент группы ББМО-01-22
Орлянский Владислав Евгеньевич
Проверил:
Литвин И.А.

«Зачтено» «__»_________2023 г. ______________
Москва 2023

# Практическая работа 8
## Цель работы
Анализ сайта онлайн-карты из практической работы 3 с использованием различных методов и инструментов из лекционного материала 7, а также с использованием средств дополнительной визуализации из лекционного материала 6.
## Ход работы
В ходе этой работы проводится исследование F4Map. В ходе работы я буду избегать отражения тех источников информации, которые не дали результатов при поиске или результат поиска был схож с тем, что был уже получен.
## Средства для соблюдения анонимности
Для соблюдения анонимности в сети используется браузер Edge с поисковой системой DuckDuckGo.
## Средства дополнительной визуализации
В качестве средства визуализации был использован FreeMind.
## Обзор сайта F4Map
Что вообще есть на исследуемом сайте?

Для удобства ниже будет приведена карта визуализации вкладок сайта.

Рисунок 1 - карта визуализации сайта
### Вкладки сайта
Рисунок 2 - вкладка настроек

Рисунок 3 - вкладка карты

Рисунок 4 - вкладка редактирования вики

На вкладке, изображенной на рисунке 4 пользователи могут предложить свои версии 3D моделей для карты
Есть раздел, где можно заполнить форму для связи с разработчиком.

Рисунок 5 - вкладка связи с разработчиком

Рисунок 6 - вкладка информации о разработчиках
## Анализ сайта с помощью поисковых систем
Рисунок 7 - Визуализация анализа сайта с помощью поисковых систем

### Применение ключевых слов для обнаружения и исследования.

Воспользуемся сервисом Google Advanced Search для расширеного поиска по ключевым словам.

### Применение Google Search Operators Cheat Sheet.
Рисунок 8 - advanced google search

Рисунок 9 - результаты поиска

По первой же ссылке мы попадаем на вкладку карты которую мы исследуем

Рисунок 10 - Оператор +
Можем вернуть результаты со всесми словами в URL. Здесь в выводе будут преимущественно аналитические сайты, помимо рассматриваемого (например сайты со статусами серверов).

Рисунок 11 - Оператор allinurl

Оператор map позволит выполнить поиск среди карт.

Рисунок 12 - Оператор map

С помощью source можно вернуть сайты, где в качестве истоника указано искомое название.

Рисунок 13 - Оператор source

Так можно посмотреть упоминание в разных блогах.

Рисунок 14 - Оператор blogurl

С помощью info можно посмотреть информацию, относящуюся к домену.

Рисунок 15 - Оператор info

С помощью site можно посмотреть результаты для нашего домена.

Рисунок 16 - Оператор site

### Поиск с помощью поисковых систем, ориентированных на конфиденциальность.
Для примера возьмем DuckDuckGo.
Рисунок 17 - DuckDuckGo

Рисунок 18 - поиск через DuckDuckGo

Рисунок 19 - Поиск через Edge

DuckDuckGo позиционируют обеспечение конфиденциальности пользователей и отказа от “Пузыря фильров”. Пузырь фильров позволяет сайтам показывать тот контент, который пользователь скорее всего хотел бы видеть, на основе предыдущей активности пользоваетля.

### Поиск с помощью национальных поисковых систем других стран.
Попробуем использовать китайскую поисковую систему Baidu.

Рисунок 20 - результаты поиска

Здесь в первых результатах поиска вылезает все, кроме самого ресурса, в основном страницы, где наш сайт фигурирует как полезный инструмент, страницы, где содержится описание сайта и т.п.

Далее попробуем шведскую поисковую систему Eniro.


Рисунок 21 - Результат поиска

Здесь нам сказали, что по нашему запросу ничего не найдено.

Попробуем японскую поисковую систему goo (Без VPN не работает).

Рисунок 22 - Результат поиска
### Поиск с помощью бизнес-поиска.
Ни один из источников в лекционных материалах не дал результата по искомому сайту.
### Поиск с помощью сервисов деловой информации.
Иcходя из сайта карты мыф знаем, что ее разработчик это компания Open Street Map.

Поэтому будем искать по названию этой компании.

Вот что нашлось насчет этой компании на сатйе [Open Corporates](https://opencorporates.com/). На данной странице мы видим команды из разных стран мира, которые работают над картой.
Рисунок 23 - компании-разработчики
Рисунок 24 - данные об одной из компаний
### Поиск в поисковых системах метаданных
Используем поиск eTools.ch.

Рисунок 25 - результаты поиска по eTools.ch.

Здесь можно посмотреть не только кратное описание, но и статусы подключения. Можно даже получить больше информации с сайта Arin Whois.

Рисунок 26 - результат поиска

С помощью Fagan Finder можно совершить зопросы из разных поисковых систем и сервисов.

Рисунок 27 - Fagan Finder

Посмотрим различные примеры.

Рисунок 28 - swisscows
Swisscows позволяет нам увидеть превью страницы

Рисунок 29 - Поисковая система Exalead

### Поиск на сервисах Code Search
С помощью сервиса NerdyData я узнал, что примерно на содержание сайта тратится до 30 тыс долларов в год, также здесь есть информация о рейтинге популярности страницы, основанном на местоположении домена и актуальность работы сайта.

Рисунок 30 - результаты поиска

### Поиск возможных FTP серверов
Произведем поиск через similarweb. Связанного FTP сервера для данного сайта не оказалось, однако удалось получить другую полезную информацию.

Рисунок 31 - Результат поиска

Рисунок 32 - показатели по месяцам

Выполним поиск через сервис Archive.

Рисунок 33 - результаты поиска

На данной странице было найдено большое количество версий сайта из прошлого

### Поиск с помощью поисковых сервисов Интернета вещей
Shodan нашел несколько подключений связанных с искомым сайтом
Рисунок 34 - результаты поиска

### Поиск и кешироание сайта
Используем для поиска Wayback Machine.

Рисунок 35 - первый снапшот 17 мая 2014
Как видим, история сайта начинается с 2014 года.

Видим, что больше всего изменений было в 2022 году.

Рисунок 36 - история для 2022 года

Имеется функция “Карта сайта”, здесь группируются все архивы сйта по годам и создается визуальная карта сайта. Центральный круг - корень сайта

Рисунок 37 - изображения карты сайта

Рисунок 38 - сводка за время существования сайта

С помощью Cached pages получим версию страницы из кэша Google.

Рисунок 39 - Cached pages

Здесь можно посмотреть полную версию страницы, текстовую версию и исходный код страницы.

### Поиск и мониторинг сайта

Настроим мониторинг сайта с помощью Visual Ping.
После настройки запустим мониторинг

Рисунок 40 - Мониторинг сайта

Рисунок 41 - Итоги мониторинга
За сутки изменения не были обнаружены.

### Поиск с помощью новостных сайтов и сервисов

Проведем поиск с помощью 1stHeadlines

Рисунок 42 - Результаты поиска

Ничего не было найдено.

Попробуем выполнить поиск через wn.com.

Рисунок 43 - Результат поиска статей

Ни единой статьи не было найдено по запросу. Была предпринята попытка расширить запрос и видоизменить его, но это так же не дало результатов

### Поиск с помощью сервисов обнаружения поддельных новостей.
С помощью сервисов и инструментов обнаружения поддельных новостей не было найдено никакой информации по поводу сайта и новостей о нем.

## Серая литература

Рисунок 44 - Серая литература

### Academic Index

Выполним поиск через Academic Index.

Ничего не было найдено

### Academic Torrents
Попробуем найти что-то на Academic Torrents.

Ничего не было найдено

### American Doctoral Dissertations

При использовании American Doctoral Dissertations ничего подходящего не нашлось.

### ArchiveGrid
Попробуем найти что-то на ArchiveGrid.

Ничего не было найдено

### Google Scholar

Рисунок 45 - Результаты поиска

При попытках поиска через Google Scholar были найдены статьи, однако ни одна из них не подходит нам т.к. относится к чему то не нужному нам.

### The Bielefeld Academic Search Engine

Поиск в этом ресурсе не дал никаких результатов

### Archive Portal Europe

Поиск в этом ресурсе не дал никаких результатов

### Social Science Research Network

Поиск в этом ресурсе не дал никаких результатов

### The National Library of Australia

Поиск в этом ресурсе не дал никаких результатов

### ScienceDirect

Поиск в этом ресурсе не дал никаких результатов

### PQDT Open

Поиск в этом ресурсе не дал никаких результатов

### The National Archive of the United Kingdom

Рисунок 46 - результаты поиска

При поиске в этом ресурсе мы получили результаты, которые не подходили нам по причине отсутствия в них необходимой нам информации.

### Oxford Academic

Поиск в этом ресурсе не дал никаких результатов

### CERN Document Server

Поиск в этом ресурсе не дал никаких результатов

### Gray Guide

Поиск в этом ресурсе не дал никаких результатов

### Crossref

Поиск в этом ресурсе не дал никаких результатов

## Проверка на наличие громких разоблачений по утечке данных

### WikiLeaks
Рисунок 47 - WikiLeaks

Рисунок 48 - WikiLeaks не работает при поиске

### Offshore Leaks

Через Offshore Leaks не удалось найти никакой информации.

Рисунок 49 - результат поиска

Таким образом, не нашлось никаких гломких разоблачений на исследуемый сайт.

## Поиск по изображению
Откроем изображение из шапки сайта и загрузим его.

Рисунок 50 - Изображение в отдельном окне

Рисунок 51 - Визуализация списка сервисов поиска по изображению

### Google

Выполним поиск по картинке в Google.

Если нажать на текст на логотипе, то Google покажет подходящие запросы.

Рисунок 52 - поиск по изображению

### Bing

При выполнении поиска не было найдено ни одного совпадения

### Yahoo

Рисунок 53 - поиск в yahoo

Выполним поиск с помощью Yahoo. Здесь вообще нет поиска по картинке. Однако по запросу были найдены скриншоты из необходимой нам карты

### Yandex

Выполним поиск с помощью Yandex. Тоже ничего подходящего не выдал.

Рисунок 54 - поиск по изображению

### Baidu

Рисунок 55 - поиск по изображению

Поиск в Baidu также не дал результатов.

### Picsearch

Сервис Picsearch R.I.P.

### CC Search Portal

Не было найдено ничего полезного

### Flickr

Данный сайт отказался искать что либо и выдавал ошибку

### Flickr map

Связанный сайт с прошлым так же выдает ошибку поиска

### idGettr

На данном сайте так же не было найдено ничего подходящего нам

### Instagram

Для поиска был задействован впн

Рисунок 56 - поиск по аккаунтам
Рисунок 57 - поиск по тегам

Поиск по тегам дал нам понять что карта бывает востребована и используется, однако не имеет своего личного аккаунта в этой сети
### Gettyimages

Рисунок 58 - Итоги поиска

## Проверка манипулирования изображениями

На сайте нет никаких изображений, кроме логотипа сайта, поэтому проанализируем его просто, чтобы познакомиться с инструментами проверки манипулирования изображениями.

Используем Forensically. С помощью увеличительного стекла посмотрим наличие мелких скрытых деталей на изображении.

Рисунок 59 - Лупа

Есть инструмент обнаружения клонирования. Он нужен, чтобы удостовериться, что изображение было обработано с помощью инструмента клонирования.

Рисунок 60 - Сравнение схожестей

При снижении настройки уровня схожести до минимума он выдал похожесть кончиков букв, однако если повысить данную шкалу, то изображение считается уникальным

Инструмент анализа уровня ошибок позволяет сравнить исходное изображение с повторно сжатой версией. Это нужно, чтобы увидеть разницу в светлых и темных областях.

Рисунок 61 - Анализ контраста

Анализ шума позволяет определить манипуляции с изображением, например аэрография, деформация, перекручивание и клонирование с коррекцией перспективы.

Рисунок 62 - Анализ шума

Развртка уровня позволяет посмотреть гистограмму изображения, это увеличивает контрастность. С помощью этого инструмента можно понять выло ли выполнено копирование, вставка и вырезание.

Рисунок 63 - Развртка уровня

Градиент яркости анализирует изменения яркости вдоль осей x и y. Нужен, чтобы смотреть, как освещены различные части изображения, чтобы найти аномалии.

Рисунок 64 - Градиент яркости

Анализ основных компонентов помогает обеспечить другой угол обзора изображения, что облегчает обнаружение манипуляций и деталей.

Рисунок 65 - Анализ основных компонентов

Метаданных и геоданных этот сайт не нашел.

Инструмент “Извлечение строки” сканирует двоичное содержимое изображения в поисках последовательностей символов ascii. Это один из вариантов просмотра метаданных, которые содержатся в изображении.

Рисунок 66 - Извлечение строки

Попробуем прогнать изображение через ExifTool.

Рисунок 67 - анализ изображения в exiftool

Как видим, ничего полезного извлечь не удалось. Такая же ситуация с иконкой сайта.

## Поиск видеоконтента

### YouTube
Выполним поиск в YouTube.

Рисунок 68 - Результаты поиска

### Google Videos

Рисунок 69 - Результаты поиска

### Yahoo video search

Рисунок 70 - Результаты поиска

### Bing videos

Рисунок 71 - Результаты поиска

### StartPage video search

Рисунок 72 - Результаты поиска

### Veoh

Рисунок 73 - Результаты поиска

### Internet archive open source movies

Рисунок 74 - Результаты поиска

### Live Leak

Рисунок 75 - Результаты поиска
### Facebook live video map

Не было найдено ни одного видео подходящего нам

## Скачаем видео с помощью Easy YouTube Video Downloader Express.

Возьмем одно из видео с упоминанием карты

Рисунок 76 - исследуемое видео

### Выполним анализ видео.

Для этого используем YouTube Metadata.

Рисунок 77 - результат анализа

Рисунок 78 - результат анализа

Посмотрим метаданные видео через ExifTool.

Рисунок 79 - Метаданные видео через ExifTool

# Вывод

В ходе работы было произведено исследование сайта [F4Map](https://www.f4map.com/) и смежных сайтов. Был выполнен обзор сайта, анализ сайта с помощью различных поисковых систем и поиск по источникам серой литературы. Также была выполнена проверка на наличие громких разоблачений по утечке данных, поиск по изображению, найденному на сайте, проверка манипулирования найденными изображениями и поиск видеоконтента.

Исходя из полученной в ходе работы информации можно утвержать, что сайт выглядит чистым и информации от туда можно доверять.