给 IP 画个像 - 高春輝

• 给 IP 画个像 - 高春輝
  • 為什麼需要 IP 畫像數據？
  • 我們的業務已經不僅僅是 IP 庫
  • IP 畫像標籤
  • IP 庫是什麼？(用途)
  • 最經常會被問到的幾個問題？
  • 如何驗證 IP 庫
  • 為什麼要單獨維護一個，而不是用其他版本呢？
    • 需要解決的四個問題
    • ipip.net 版本
  • 如何維護 IP 庫
  • 重點繼上 ipip.net 版本
  • 需要了解的知識
  • 還需要了解的知識
  • IPIP.NET 數據分享 (2017.5)
  • HOW TO MAKE
  • 疑難雜症之: VPN
  • 基站 IP 庫
  • 問題在哪兒？
  • 特殊的黏滯效應？
    • 舉例：
  • 工具介紹
  • 一個 IP 老司機的忠告
  • 維護五年的一些大結論

為什麼需要 IP 畫像數據？

• 地理位置
• 真實用戶或服務器
• 公司或家庭
• 行為
• 是否有惡意行為？當過肉雞？

我們的業務已經不僅僅是 IP 庫

IP 畫像標籤

• 地理位置
• 手機上網
• 動態撥號
• 公司專線/小區/網路出口
• 中國特色的第三方出口

IP 庫是什麼？(用途)

• 用戶信息獲取
• 廣告精準定向投放
• 流量行為分析
• CDN/DNS/VPN 節點就近快調度

最經常會被問到的幾個問題？

• 做 IP 庫還不幾單？抓公開的？

如何驗證 IP 庫

• 查詢 8.8.8.8

8.8.8.0/24 和 8.8.4.0/24 兩組 IP 使用了 ANYCAST 技術
這兩組 IP 在全球部署有多組服務器

• traceroute 可視化工具
  Best Trace

將 traceroute 結果在 Google Map 上繪製成路徑圖，能從圖片判斷 traceroute 查詢得到的資料是否是正確的和合理的

為什麼要單獨維護一個，而不是用其他版本呢？

• 起源於 ECSHOP 時代和對 CDN 的困惑
• 接近 200 家商業客戶

因為找不到合理的數據庫，所以只好自己做一個。

需要解決的四個問題

• 準確性問題：以 WHOIS 多個 IP 數據投票為基礎來維護的話，很 LOW，不直接，非常不準確
• 規範性問題：1.描述不規範，一會北京一會北京市，如何破? 一會電信通，一會鵬博士，倒底哪個為準?
• 即時性問題：IP 數據去掉非公網 IP，大概有 36 億個需要維護。全球相關機房上萬個，相關公司上十萬個，變動是正常的，工作量超大，你跟得上否？

  例如中華電信每個禮拜都有變化

• 持續性問題

ipip.net 版本

我們對準確度的要求高於精準度的要求

如何維護 IP 庫

• 首先是一個技術活
• 長期是一個力氣活

  ipv4 -> ipv6

重點繼上 ipip.net 版本

我們如何維護 IP 庫？

包括但不限於：

• 我們在全球的 300+ 個監測點，不斷增加中
• 自有或者其他可信任的數據來源
• 全球 WHOIS / BGP …

我們通過總結的一些方法通過程序或人工方式進行 IP 數據的收集分析與審核入庫

需要了解的知識

• 網路以及營運商知識
  • 了解全球的網路情況
  • 了解全球的營運商網路網路情況
  • 了解全球的數據中心分布情況
  • 光纜、建設、鏈結與分布情況
  • Internet Exchange Point
• 網路情況非常複雜
  1. 衛星上網/省級出口
  2. VPN/NAT/MOBILE
  3. ANYCAST/BACKBONE/MPLS
  4. BGP/路由器數據出錯或偽造
  5. 運營商的內網黑盒子
  6. 就是不想告訴你

還需要了解的知識

• 地理知識與語言知識
  • 州級與國家知識
  • 城市知識
  • 各種語言的網站

各種代碼、縮寫、區號、時區、變更，等等，比你想像的要多一點點

政治上的原因：(不容易掌握)
北土耳其塞普勒斯共和國，在地圖上看不到的國家
中國(大陸地區)，變更變動無法得知

• RIR
• NIR

IPIP.NET 數據分享 (2017.5)

• 原始文本有 32GB , traceroute 300GB
• 命令行與客戶端代碼25000+行
• 生成一次全球 ANS 相關數據文件的時間
• 手工整理的HOST定義文件 15000+行

主體運行在荷蘭阿姆斯特丹和北京的伺服器上

/* https://www.cogentco.com/en/network/looking-glass */

HOW TO MAKE

1. 基於各種數據，從上至下解析網路拓墣情況，制定方法

• IP
• Routers
• POPs
• AS

疑難雜症之: VPN

切身體會：
為什麼在美國的 IP 會有中國的 GPS
用戶在中國，但是 IP 在美國
網路位置與用戶位置分離

基站 IP 庫

• 大家在不使用 wifi 網路的時候，使用手機通過運營商提供的網路進行上網的時候，目前方案應該都是用戶端使用私有 IP 做 NAT 轉換

• 然後對外做 NAT 轉換

• 這樣的情況就導致大家在手機端統一使用一些 IP 段進行訪問網站或 APP，一般我們稱這些相對固定的 IP 段為基站 IP

問題在哪兒？

• 國內大部份的省都是以省級為單位劃分基站對外訪問IP，也就是說同一個出口IP，後面的對應用戶可能是跨多個城市的。
• 也有一部分省是按照市一級為單位劃分的，
• 但是位置偏遠，

還有一部份地區是一段 IP 給兩三個城市同時使用，在我們的數據庫依然沒有看到

特殊的黏滯效應？

漫遊：從台北漫遊到高雄
IP 沒有變
但開飛航模式再關閉後，IP 會變

舉例：

• 各城市的擴散範圍
• 拿台灣手機出國漫遊，使用的 IP 會是原營運商當地的 IP

工具介紹

BEST TRACE
http://www.ipip.net/download.html

一個 IP 老司機的忠告

• 正確認識到基於 IP 做地理位置識別的局限性

  • 網路位置 VS 用戶位置

• 正確獲得 IP 地址 (REMOTE_ADDR)

• 所有基於IP的封禁政策都要有期限，哪怕是1年

• 要分析運營商以及所有者！

IP 數據庫若不正確，數據分析就會不正確。

維護五年的一些大結論

• 台灣運營商很多，網路很多樣
• 我們有一些台灣客戶
• 根據我們的評估，台灣的 IP 地理位置數據只有我們做得最好

tags: MOPCON 2019