# Censys

### IP с которых сканирует:

- 162.142.125.0/24 (ASN: #398324 - CENSYS-ARIN-01, ISP: Censys, Inc., Location: Chicago)
- 167.94.138.0/24 (ASN: #398324 - CENSYS-ARIN-01, ISP: Censys, Inc., Location: Chicago)
- 167.94.145.0/24 (ASN: #398705 - CENSYS-ARIN-02, ISP: Censys, Inc., Location: Frankfurt am Main)
- 167.94.146.0/24 (ASN: #398705 - CENSYS-ARIN-02, ISP: Censys, Inc., Location: Frankfurt am Main)
- 167.248.133.0/24 (ASN: #398722 - CENSYS-ARIN-03, ISP: Censys, Inc., Location: Chicago)
- 2602:80d:1000:b0cc:e::/80 (ASN: #398722 - CENSYS-ARIN-03, ISP: Censys, Inc., Location: Ann Arbor)
- 2620:96:e000:b0cc:e::/80 (ASN: #398324 - CENSYS-ARIN-01, ISP: Censys, Inc., Location: Ann Arbor)

### User-Agent:
`Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)`

### Что сканирует:
- Всё IPv4 адресное пространство
- Новые домены и редиректы для получения IPv6 адресов

### Правовая сторона сканирования:
- На сайте размещён документ, поясняющий условия сбора, хранения и обработки данных: https://censys.io/data-retention-policy/
- Законов запрещающих сканирование напрямую нет, но провайдер может прекратить предоставление своих услуг, а при нанесении доказанного косвенного ущерба (denial of service, например), компания которой был нанесён ущерб имеет право подать в суд на сканирующего.

### Как часто происходит сканирование:

- Глобальное сканирование популярных портов. Сканирование всего IPv4 адресного пространства на 137 портов (IANA-assigned services https://www.iana.org/assignments/service-names-port-numbers/service-names-port-numbers.xhtml) - еждневно
- Сканирование облачных провайдеров. Сканирование 1,440 наиболее популярных портов на хотстах Amazon, Google, and Azure. - ежедневно
- Глобальное сканирование менее популярных портов. Сканирование всех IPv4 хостов на 3,455 дополнительных портов - один проход за 10 дней
- Глобальное сканирование остальных портов. Сканирование всех 65535 портов у всех IPv4 хостов - постоянно, с низкой скоростью

### Как можно запретить сканирование и удалить данные:
- Можно заблокировать ip-адреса Censys с помощью firewall, при следующем обновлении данных (в течении 24-48 часов), данные будут удалены

### Когда происходит обновление данных:
- Когда количество новых сервисов достигает ~2.1 биллиона (примерно раз в день)
- Любой сервис с timestamp сканирования старше чем 24 часа сканируется заново.

### Как происходит сканирование:

- Censys связывается с пятью интернет-провайдерами уровня 1 (NTT, Tata, Hurricane Electric, Telia, Orange) и сканирует их.
Интернет-провайдер, с которого Censys сканировал сервис, записывается в поле services.perspective.
- На портах с протоколами, назначенными IANA, Censys пытается выполнить handshake с назначенным протоколом (например, Telnet на порту 23). Если это не удается, пробует дополнительные handshake. На портах без назначенной службы происходит отправка HTTP-запроса и попытка автоматически определить протокол на основе ответа.
- Сканер Censys анализирует каждый ответ сервера, чтобы идентифицировать его сервис, даже если он нестандартный для порта, что позволяет обнаруживать подавляющее большинство сервисов в неожиданных местах.
Censys умеет определять 25 протоколов на любых портах: `AMQP, ANYCONNECT, BGP, CASSANDRA, ELASTICSEARCH, FTP, HTTP, IMAP, IPP, KUBERNETES, LDAP, MODBUS, MONGODB, MYSQL, POP3, PPTP, PROMETHEUS, RDP, REDIS, SIP, SMTP, SSH, TELNET, UPNP, VNC`
- Так как у некоторых протоколов мало данных для парсинга и обработки, Censys сохраняет баннеры от следующих легковесных сервисов: `ANDROMOUSE, ARD, ATG, BEANSTALKD, BITTORRENT, BOLT, CASSANDRA, CHARGEN, CITRIX, CODESYS, DB2, DIGI, GE_SRTP, ICAP, IDENT, IEC60870_5_104, IRC, LDAP, MDNS, MIKROTIK_BW, MURMUR, NATPMP, NETBIOS, NETIS, PCWORX, PIGEONHOLE, PJL, POPPASSD, PORTMAP, PRO_CON_OS, QOTD, RDP_UDP, RETHINKDB, RIPV1, RSYNC, RTSP, SENTINEL, SSDP, TEAMSPEAK, TERRARIA, TFTP, TORCONTROL, UBIQUITI, UPNP, VALVE, WDBRPC, WS_DISCOVERY, XDMCP`
- Censys может обнаруживать 105 протоколов уровня 7. Протоколом уровня 4 по умолчанию является TCP, хотя некоторые протоколы, такие как DNS, сканируются с помощью UDP, и HTTP может быть обнаружен в QUIC.
Кроме того, выполняется несколько рукопожатий HTTP(S) для идентификации определенных HTTP-приложений (например, Kubernetes и Elasticsearch). Имена сервисов представляют наиболее конкретную информацию об сервисах, которая у нас есть.
На портах, использующих HTTP(S), Censys запрашивает корневую страницу (/) и следует локальным перенаправлениям HTTP. Кроме того, Censys выполняет дополнительные запросы для идентификации следующих приложений: CWMP, Elasticsearch, Kubernetes, Prometheus
- Censys идентифицирует следующие базы данных: `Bolt, Cassandra, Elasticsearch, Memcached, MongoDB, Microsoft SQL Server (MSSQL), MySQL, Oracle, PostgreSQL, Redis, RethinkDB, IBM DB2, Zookeeper, Core Internet Protocols, DNS Open Resolvers, Multicast DNS (MDNS), ECHO, IPP, ICAP, NETBIOS, NTP, PORTMAP, NATPMP, RIPV1`. Попыток прочитать данные или аутентифицироваться не происходит.
- На портах, на которых запущены протоколы брокера сообщений, завершается начальное рукопожатие для конкретного протокола без попытки аутентификации. Для служб (MQTT), не требующих проверки подлинности и передающих широковещательные сообщения, мы можем собрать образец таких сообщений: `AMQP(S), COAP(S), MQTT(S), BEANSTALKD, IKETTLE, KAFKA, NETIS, PJL, Ubiquity Discovery Protocol (UBIQUITI), SSDP, UPNP, Web Services Dynamic Discovery (WS_DISCOVERY), XMPP`
- Протоколы удалённого доступа: `Andromouse, OpenVPN, PC Anywhere, RDP, RDP_UDP, SSH, Telnet, VNC, X11, XDMCP, Apple Remote Desktop (ARD), TEAM_VIEWER`
- На почтовых протоколах собирается баннер и STARTTLS handshake: `IMAP(S), PIGEONHOLE, POP3(S), SMTP(S)`
- На VoIP собирается баннер и STARTTLS: `SIP(S), SKINNY, MURMUR, TEAMSPEAK`
- Протоколы сетевого администрирования: `IPMI, Kerberos, LDAP, POPPASSED, PPTP, RADIUS, SCCM, SNMP, Sentinel License Manager (SENTINEL), TORCONTROL`
- Протоколы обмена файлами: `BITTORRENT, BITTORRENT_TRACKER, FTP(S), RSYNC, SMB, TFTP`
- Протоколы SCADA: `Automated Tank Gauges (ATG), BACnet, DNP3, EIP, FINS, HART, Tridium Fox (FOX), MODBUS, Siemens S7, CODESYS, Digi Realport (DIGI), Service Request Transport Protocol (GE_SRTP), Citrix ICA Protocol (CITRIX), PCWORX, IEC_60870_5_104, ProConOS (PRO_CON_OS), VxWorks WDB Debug Agent (WDBRPC)`
- Игровые протоколы: `RTSP, Source Engine Server (VALVE), Terraria Server (TERRARIA)`
- Прочие протоколы: `BITCOIN, CHARGEN, DICT, IDENT, IRC, Quote of the Day (QOTD), STATSD`

### Источники информации о Censys:
- https://support.censys.io/hc/en-us/articles/360043177092-Opt-Out-of-Scanning
- https://support.censys.io/hc/en-us/articles/360059603231-Censys-Internet-Scanning-Intro