---
# System prepended metadata

title: '# Secucon 2023 '

---

github : https://github.com/Yoshiki217/secon2023

11 / 13 3ヶ月

言語 : GO 

## Crawler
web 上で実行してなんらかの形で見えるしよう
textbox 検索 , 検索 text文字列の追加
検索結果に類似のものがあればそれを返す

txtファイル名をドメイン名にして


## Crawler Architecture
- subomain : A tag hrefのurl判定
- DNS C nameレコード
## Directory Crawler Architecture
- 

port scan : go libraly　[https://pkg.go.dev/github.com/t94j0/nmap#section-readme]
directory : go libraly : https://pkg.go.dev/path/filepath


AK : 月,火,木
MT : 
H : 終日
MY : 

## Task 洗い出し
- 一旦、与えられたドメインからdirectoryクロール
- URLから、ディレクトリクロールして、ファイルコピー
- コピーしたファイルから`mbsd`の文字列検索 
- robotsでallowディレクトリの参照,disallowの場合参照しない　済
- デバッグ
- ドキュメント作成

## 追加機能(余裕があれば)
- treeコマンドでの階層表示 : サイトマップ作成
- 速度計算
- portスキャン
- ドメイン、サブドメイン : IP表示 
- Docker で localコンテナ立ち上げ


## TASK
サブドメインスキャン 済 , WEBサーバ構築 済, WEBサイトデザイン 済、検索結果のキャッシュ: 林
ディレクトリスキャン : 明日
robots.txtで許可されているファイルをコピーする : 三宅
robots.txt確認(済) , Disallow/AllowとURLを配列に入れて渡す処理(済) : 御手洗


### WEB POST 
/search  : 検索画面
/result : 結果画面

## 懸念
- 検索キャッシュができてない
- 並列処理ができてないから、速度評価
- 深さをどれくらい設定したらいいかわからない
- 検証サーバを構築してない
- 関数化が終わってない
- ファイル管理が甘い、将来的に解決方法を探る
- txt書き出し多すぎる、キャッシュサーバ的な

- url , title , 抜き出し
- 文字列検索

## 改修工事
- domainのみの検索できるようにする

## 懸念解消部分と方針
- subdomain見ない
- URL、パラメータ、存在する場合はページタイトル、性能審査用の キーワード(後述) 出力する
- LANないなので、IPアドレスの場合もある
- MBSD が評価するうえでライセンス上の問題が無いこと。OSSノ変なアプリからとってこない
- ドキュメントの作成 自動巡回ツール本体、ソースコード、ツールの説明資料(ツールの優位性、機能説明、インストール 手順書、操作説明書など)を提出してください。エンジニアがインストールおよび操作する前提で作成 してください。とのこと

## スケジュール
- 11/1 ~ 11/9日まで制作
    - 制作手法はissue駆動開発のまま
        - 自分でTASKをissueからとっていってください
    - Document同時並行
- 11/9 ~ デバッグ & できていない制作部分
- 11/15日完成を目指す