Server
robots.txt 설정
망할고양이
2018. 1. 8. 16:37
구글링은 안되게 막고 구글 광고는 표시하고 싶을때에 다음과 같이 설정하도록 합니다.
<기존 : 모든 크롤링은 허용하지 않지만 구글봇에게는 허용합니다.>
User-agent:*
Disallow:/
User-agent: Googlebot
Allow:/
<변경 : 구글에서 검색은 안되지만 구글 광고는 가져다 쓸수 있음>
User-agent:*
Disallow:/
User-agent: Mediapartners-Google
Allow:/
참고 사이트