# Практическая работа 5
---
## OSINT
---
## Исследование сайта карты и различные виды поиска
## DLA Piper Global Data Protection Law Map

**Цель работы:** Проанализировать сайт карты с помощью методов, которые предоставлены в лекционном материале 5.

**Задачи:**
* Применить ключевые слова для обнаружения и исследования.
* Проверить карту с помощью поисковых сервисов на наличие возможных громких разоблачений по утечки данных, сервисы предоставлены в лекционном материале.
* Произвести поиск с различными параметрами, настройками, поисковыми системами.
* Проанализировать веб-сайт карты с помощью различных сервисов.

## Анализ сайта карты с помощью методов, которые предоставлены в лекционном материале 5

1) **Ключевые слова для обнаружения и исследования**
Для поиска ключевых слов будем использовать *Google Keyword Suggest Tool*
К сожалению, данный сервис не работоспособен.

Однако, используя сервис Google Trends, можно проследить динамину запросов по данным словам.

2) **Google Search Operators Cheat Sheet**
Теперь попробуем произвести поиск с помощью операторов поиска Google
Парасетры буду брать из Google Search Operators Cheat Sheet
Принудительный поиск по одному слову или фразе:
Без "+"
С "+"
Поиск с префиксом "map"
Поиск файлов определенного типа
Поиск info

3) **Поиск с помощью поисковых систем, орентированных на конфиденциальность**
Для такого типа поиско воспользуюсь браузером Brave
Создатели утверждают, что Brave блокирует трекеры сайтов и удаляет навязчивую интернет-рекламу, повышает уровень приватности в интернете и уменьшает количество передаваемых о потребителях рекламы данных.
Тут на 1 строке результата поиска мы видим другой сайт, но наш все так же находится на первой странице, но уже на 2й строке.

4) **Поиск с помощью национальных поисковых систем других стран**
Goo - Японская поисковая система
Yahoo - США

5-6) **Проанализировать веб-сайты карт с помощью бизнес-поиска//Проанализировать веб-сайты карт с помощью поисковых систем и сервисов деловой информации**

Так как выбранная карта ни как не связвна с бизнесом, то просто упомяну некоторые ресурсы для поиска.
https://www.annualreports.com/ - перечисляет тысячи годовых записей
от 5333 компаний по всему миру. (По названию карты/сайта карты)
Open Corporates - Это крупнейшая открытая база данных компаний в
мире.

7) **Проанализировать веб-сайты карт с поисковых систем метаданных**

C помощью метаданного поисковика *etools.ch*

8) **Зайти в режим разработчика на сайте и поробовать взять часть кода, по которому произвести поиск на сервисах Code Search**

При помощи комбинации Ctrl + U мы можем посмотреть код страницы
Теперь выберем любую часть кода и прогоним ее через Code search сервисы
Я буду использовать searchcode:
И благодаря этому сервису мы можем узнать как могут быть реализованы функции и найти совпадения с исходным кодом.

9) **Произвести поиск карт и возможных FTP серверов возможно используемых совместно**

Попробуем найти FTP сервера с помощью Global file search.

10) **Произвести поиск с помощью поисковых сервисов Интернета вещей**

Есть много специализированных поисковых систем для подключенных к Интернету устройств (известных как IoT устройств).
Я воспользуюсь самой популярной из поисковых систем - shodan.
Как и ожидалось, поиск ничего не дал.

11) **Произвести поиск веб-сайтов и кэширование веб-сайта с помощью сервисов указанных в лекционном материале 5**
С помощью Internet Archive можно найти снапшоты сайта, что позволит получить доступ к ресурсу в определенном состоянии(на момент создания снапшота)

12) **Произвести поиск и мониторинг сайт вашей карты с помощью сервисов указанных в лекционном материале 5**

Я решил произвести поиск и мониторинг сайта карты с помощью сервиса Visualping (https://visualping.io/). Для начала отслеживания нужно только вставить ссылку на сайт и начать мониторинг!

13) **Произвести поиск вашей карты с помощью новостных сайтов и сервисов указанных в лекционном материале 5**

Есть много онлайн-сервисов новостей, которые предлагают актуальную информацию о всех
видах тем. Ниже приведены самые популярные из них:
1. 1stHeadlines (https://www.1stheadlines.com) : Это списки последних новостей заголовок.
2. News Now (www.newsnow.co.uk) : В этом списке последние новости со всего мира.
3. All You Can Read (www.allyoucanread.com) : Этот веб-сайт перечисляет все основные газеты и средства массовой информации в каждой стране по всему миру (обычно список 30 лучших сайтов).

Пробежавшись по новостным заголовкам, к сожалению, никаких новостей, связанных с "data protection laws" не нашлось.

14) **Произвести поиск вашей карты с помощью сервисов, которые обнаруживают поддельные новоcти**

Т.к не нашлось никаких зацепок в п.13, соответственно, поддельные новости отсутствуют.
Но вот пара сервисов, с помощью которых можно отследить ложные вести:
*Snopes* (https://www.snopes.com) обнаруживает ложные новости, рассказы и городские легенды и
исследования / проверяет слухи, чтобы увидеть, являются ли они истинными.
*Hoaxy *(https://hoaxy.iuni.iu.edu ) проверяет распространение ложных утверждений (например, мистификация,слухи, сатира или новостной отчет) через социальные сети. Сайт получает свои результаты от авторитетных
организаций по проверке фактов, чтобы вернуть наиболее точные результаты.
## Поиск по серой литературе
Тк моя карта содержит информацию об информационных законах разных стран, то стоит искать статьи, документы, черновые законопроекты, касающиеся информации.
1) Academia является платформой для ученых, чтобы поделиться научноисследовательских работ, более 19 миллионов работ в настоящее время загружены,охватывающих все академические предметы.
К сожалению, на момент выполнения работы, данный сервис не был доступен
2) Academic Index он же RefSeek является научно-академической поисковой системы,которая перечисляет только выбранные наборы качественных веб-сайтов, выбранных учеными, библиотекарями, преподавателями и библиотечными консорциумами.

3) Academic Torrents является распределенным репозиторием для наборов данных и научных знаний, поддерживаемых сообществом.
4) American Doctoral Dissertations предоставляет бесплатный доступ кболее чем 172 000 диссертаций и диссертаций, принятых американскими университетами с 1902 года по настоящее время.

Вот например как менялись британские законы об информации

5. ArchiveGrid (https://beta.worldcat.org/archivegrid) содержит более пяти миллионов архивных материалов, собранных из архивов, библиотек, музеев и исторических обществ. Основные темы включают исторические документы, а также личные и семейные документы и истории – нужен VPN.

Совершенно не тот результат. Не работает без VPN.

6. Google Scholar (https://scholar.google.com/schhp?hl=en) является поисковой системой Google,чтобы найти научные исследования. Результаты ранжируются на основе количества цитирований(рассчитанных на основе количества людей, которые ссылаются на исследование) и достоверности публикации.

Очень удобная поисковая система. Работает аналогично Гугл поисковику, однако распространяется на научные исследования. Очень результативный документ.

7. Вы также можете создавать оповещения (например, Google оповещения уже охвачены), так чтовы получите информацию, когда новая научная исследовательская статья будет опубликована, что соответствует вашим критериям поиска.

8. The Bielefeld Academic Search Engine (https://www.base-search.net/Search/Advanced) содержит более 100 миллионов документов.

Подробная информация о различных странах.

9. Archive Portal Europe (www.archivesportaleurope.net) предоставляет доступ к информации архивных материалах из разных европейских стран, охватывающих многочисленные темы (такиекак сельское хозяйство, здравоохранение, правосудие, политика и наука).

Поиск в архивах, удобные фильтры для поиска.

10. Social Science Research Network (https://www.ssrn.com/en) предоставляет более полумиллиона научных работ, охватывающих 30 тем.

Не совсем то чно нам надо, но результатов очень много.

11. The National Library of Australia (http://trove.nla.gov.au) имеет более 500 миллионов австралийских и онлайн-ресурсов, охватывающих книги, журналы, ежегодные отчеты, изображения, исторические газеты, карты, музыку, архивы и многое другое.
Можно рассмотреть не только электронные версии но и фотографии газет и прочих документов.
Актуально по большей части для информации относительно Австралии.

12. ScienceDirect (www.sciencedirect.com) содержит более 250 000 статей открытого доступа (бесплатно для чтения и загрузки) в научных, технических и медицинских исследованиях.

Можно удобно просматривать и скачивать нужные документы.

13. PQDT Open (https://pqdtopen.proquest.com/search.html) предоставляет открытый доступ к диссертациям и диссертациям бесплатно – необходим VPN.

**Сервис не работает**

14. The National Archive of the United Kingdom (http://discovery.nationalarchives.gov.uk) содержит более 32 миллионов описаний записей, хранятся в Национальном архиве и более 2500 архивов по всей Великобритании, многие из них доступны для скачивания.

Согласно названию, сервис расчитан на старинные архивы Соединенного Королевства.

15. Oxford Academic (https://academic.oup.com/journals) содержит журналы в области права, бизнеса, науки, социальных наук, искусства и медицины.

На мой взгляд это самый удобный и результативный сервис по поиску. Он выдал самые точные результаты, максимально приближимые к ожидаемому результату.

16. Page Press (www.pagepress.org) содержит научные журналы открытого доступа.

В предложенных журналах нету информации об информационном законадательстве, а уж тем более о картах с подобным содержанием.

17. CERN Document Server (https://cdsweb.cern.ch) обеспечивает свободный доступ к тысячам статей, книг, перепечаток, презентаций и переговоров, мультимедиа и информационнопропагандистской деятельности, охватывающей в основном физическую науку.

Сервис охватывает лишь небольшую часть нужной информации (всего выдал 64 результата поиска, хотя по-факту их куда больше)

18. High Wire (http://highwire.stanford.edu/lists/freeart.dtl) имеет бесплатные онлайн полнотекстовые статьи.

**Сервис не работает**

19. Gray Guide (http://greyguide.isti.cnr.it) имеет ресурсы серой литературы.

По моему запросу сервис выдал несколько статей, но все они достаточно посредственного содержания, при более жестких параметрах, сервис выдает такие же резутьтаты.

20. Beyond Citation (www.beyondcitation.org) предоставляет информацию о различных академических базах данных и других цифровых исследовательских коллекциях.

**Сервис не работает**

21. Crossref (https://search.crossref.org) поиск метаданных (название, автор, DOI, ORCID ID, ISSN) более 92 миллионов журнальных статей, книг, стандартов и наборов данных.

Сервис выдает ссылки книги и статьи в основном англо-саксонских стран

22. Databases ~~(https://databases.today)~~ — это каталог общедоступных баз данных для загрузки бесплатных ресурсов для исследователей безопасности и журналистов.

**Сервис не работает**

## Проверка на наличие возможных громких разоблачений по утечкам данных
Утечка официальных документов распространяется в Интернете с использованием конкретных
веб-сайтов, которые сосредоточены на различных областях, в основном военные,
разведовательные и тд. Ниже приведены три самых популярных официальных репозитория
утечки данных онлайн:
1. WikiLeaks (https://wikileaks.org)

На мой запрос сервис перестал работать(

2. Cryptome (https://cryptome.org)

Cryptome приветствует публикацию документов, которые запрещены правительствами во всем мире, в частности материалов о свободе выражения мнений, неприкосновенности частной жизни, криптологии, технологиях двойного назначения, национальной безопасности, разведке и секретном управлении - открытых, секретных и засекреченных документах, но не ограничиваясь ими.
Так как выбранная карта совершенно оегальна и не содержит пользовательской информации, утечек найдено не было.

3. Offshore Leaks (https://offshoreleaks.icij.org)

Интересный инстремент, но не подходит под текущую задачу.

## Поиск по изображению

Для поиска по изображению я решил взять главное фото карты сайта DATA PROTECTION LAWS OF THE WORLD.
Исходное фото:

Google Image Search Специальный сервис Google для поиска картинок в Интернете. Googlebot-Image, поисковый робот, сканирующий страницы для индекса картинок, производит поиск изображений различных форматов.


Bing image search - Bing Image Search. Bing IS является лучшей альтернативой Google Images, поскольку выдает довольно похожие результаты. Однако в отличие от Google поиска он сразу выдает страницу нашего сайта

Остальные системы поиска фотографий предостовляют аналогичные результаты, поэтому рассматривать их не вижу смысла.
P.S. Поиск по социальным сетям не увенчался успехом.
## Поиск видеоконтента о картах
Для начала посмотрим, есть ли какие-либо видео о нашей карте в YouTube:
Как мы видим, поиск видео по карте о мировых информационных законах не увенчался успехом, однако были найдены тысячи роликов, раскрывающих эту тему в отрыве от сайта и представленной на нем карты.

Теперь попробуем найти хоть что-то связвнное с сайтом карты в Google videos:
Google video в результати отправки запроса перенаправляет нас на обычную поисковую страницу, но среди результатов нету упоминания нужной нам ссылки (https://www.dlapiperdataprotection.com/).

И, наконец, давайте испытаем поисковую систему, которая помогла нам в поиске по фото Bing videos:

К сожалению, ни на одном из сервисов не было найдена видеоролика, посвященного непосредственное карте data protection laws of the world map и сайту https://www.dlapiperdataprotection.com/.

## Использование инструментов для дополнительной визуализации информации, которые предоставлены в разделе Логические схемы и инструменты в лекционном материале 4.

Подводя итог моей работы, предлагаю ознакомится с инструментами для дополнительной визуализации информации.
Free mind - Средство отображения мыслей и в то же время простой в управлении иерархический редактор с сильным акцентом на сворачивание. На самом деле это не две разные вещи, а просто два разных описания одного приложения. Часто используется для управления знаниями и контентом.
Судя по интерфейсу, это довольно старая программа, но интуитивно понятная. С ее помощью я попытался создать схему выполнения данной практической работы и вот что у меня получилось:
А с помощью сервиса Google Drawings (google.com/drawings) можно создать что угодно, например вот такую диаграмму:

**Вывод:** на этой практической работе я проанализировал сайт карты с помощью методов, которые предоставлены в лекционном материале 5 и познакомился с инструментами для дополнительной виуализации информации.