---
# System prepended metadata

title: 크롤링에 대해

---

# 크롤링에 대해
참고 
https://velog.io/@mowinckel/웹-크롤링-I
## 테크니컬 SEO
Search Engine Optimization
웹 사이트 페이지가 검색엔진에 잘 노출이 되도록 기술적인 토대를 마련하는 작업
### sitemap.xml
모든 페이지 목록을 나열한 파일
https://www.google.com/sitemap.xml
### robots.txt
웹 크롤러에게 sitemap의 위치를 제공하고 allow와 disallow 할것을 알려준다. 
루트 도메인 하위에 존재한다.
https://google.com/robots.txt
https://naver.com/robots.txt
