Domain/DNS & Robots.txt

Domain/DNS

Host의 개념

• 데이터를 저장할 공간을 빌리는 것
• 홈페이지, 사이트들은 결국 데이터 덩어리이기 때문에 물리적으로 저장할 컴퓨터가 필요하다. 이런 컴퓨터를 호스팅 서버라고 하고 호스팅 업체에서 이런 컴퓨터의 공간 일부를 비용을 받고 빌려주는 걸 Web Hosting이라고 함.
• 호스팅 서버도 인터넷 회선이 연결된 컴퓨터로 12.123.123.123같은 형태의 IP주소를 갖고 있음.
  • 이 IP주소가 실제 주소라고 보면 됨

Domain의 개념

• 내 사이트의 이름을 지정하는 것
• 도메인 주소와 호스팅 IP 주소는 아무런 설정이 없는 상태에서는 서로 연관성이 없음. 하지만, 업체에서 별도로 관리하는 외부의 네임서버라는 곳에 A라는 IP주소는 A’라는 도메인 주소와 같다고 설정을 해주면, 도메인 주소를 통해 IP주소(=웹사이트)로 접속 가능

DNS Rebinding

개념

• SOP(Same Origin Policy)를 우회하는 공격 기법으로, 공격자의 DNS 서버에서 반환하는IP주소가 바뀔 수 있음에도 불구하고 브라우저가 same origin으로 판단하여 차단하지 않는 공격 그 이유는 scheme://domain:port가 모두 동일하기 때문이다.
• 공격자가 더미 DNS서버를 구축하여 공격자의 DNS질의를 가로채어 동일한 도메인 이름이지만 주소를 변조시키는 방법으로 내부 네트워크에 접근 가능
• SSRF공격의 한 종류
  • 서버측에서 위조된 HTTP 요청을 발생시켜 직접적인 접근이 제한된 서버 내부 자원에 접근하여 외부로 데이터 유출 및 오동작을 유발하는 공격을 SSRF(Server Side Request Forgery)라고 함.

Robots.txt

개념

• robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러(또는 검색 로봇)가 액세스 하거나 정보수집을 해도 되는 페이지가 무엇인지, 해서는 안되는 페이지가 무엇인지를 알려주는 역할을 하는 .txt파일이다.
• robots.txt파일은 검색엔진 크롤러가 웹사이트에 접속하여 정보 수집을 하며 보내는 요청(request)으로 인해 사이트 과부하되는 것을 방지하기 위해 사용됨