recon-ng를 활용하여, 타겟 위치 근처에 사진/youtube 게시물을 긁어온 후, 구글 지도에 pushpin형식으로 표시해보겠다
시작전 준비물은 아래와 같다
위에 API 목록들이 필요하다 ( 밑줄 친 API외에 것들은 필수인지 잘 모르겠다 )
1. location을 기준으로, youtube자료들을 긁어와야 하기 때문에 youtubeAPI가 필요
2. geocode 모듈로 위치를 알아내야하기 때문에 geocoding또한 필요
3. flickr 모듈을 사용하여, 특정 위치에서 올린 Flickr 사진을 긁어와야 하기 때문에 flickr api 가 필요
4. 구글지도에 pushpin형식으로 표현하기 위해서는 꼭 maps javascript API가 필요
( maps javascript API의 경우, 설치하지 않으면 표시할 수 없다는 오류가 발생하니 꼭 설치하자 )
준비 과정이 끝났으면 본격적으로 들어가보자.
1. geocode 모듈을 활용하여 위도/경도 알아내기
이번 실습에서는 HYBE 엔터테인먼트를 대상으로 하겠다 이유는 없고, 갑자기 생각났기 때문이다...
구글 지도 검색 기준, hybe엔터의 주소는 위와 같다 영문 주소를 꼭 입력해주어야 한다
Kali Linux에서 recon-ng를 실행시켜 준 후, geocode모듈을 불러와 준다
앞에서 언급하였듯, 해당 모듈을 사용하기 위해서는 API가 필요하다
위의 그림과 같이, HYBE의 주소를 옵션 값으로 넣고 run을 하면 해당 주소의 위도/경도/주소가 출력된다
그리고 geocodea모듈은 이 결과를 recong-ng DB의 location Schema에 자동으로 업데이트한다
이러한 점은, schema에 입력된 값들을 기본값으로하여 동작하는 모듈을 사용할 때 편리하다
2. flickr 모듈을 활용하여, 특정 위치의 사진 긁어오기
flickr는 야후의 온라인 사진 공유 커뮤니티 사이트이다
여기에는 다양한 사진들이 올라오는데, flickr 모듈을 사용하면 타겟 위치를 기준으로, 해당 위치 주변에서 업로드한 사진을
긁어모을 수 있다
앞에서 geocode 모듈을 사용하였다면, 바로 run을 사용하여 타겟 위치 주변의 사진을 긁어모을 수 있다
geocode 모듈을 사용한 이유가 바로 이것 때문이다
flickr 모듈은 default로, DB의 location schema를 참조하기 때문이다
dashboard 명령어를 입력하면 현재 작업영역의 요약본을 볼 수 있다
위에 그림을 보면, flickr로 얻은 데이터 수는 pushpins에 표시되는것을 확인할 수 있다
이러한 이유는, flickr는 pushpin 모듈에 포함되기 때문이다
43개인 이유는, 중간에 검색을 끊었기 때문에 43개밖에 나오지 않은 것이다
3. 크롤링으로 얻은 pushpin데이터를, 구글 맵에 표시하여 시각화하기
pushpin으로 분류되는 데이터들은 reporting/pushpin모듈을 사용하여, 보고서 형태로 시각화 할 수 있다
위의 그림과 같이, 해당 모듈을 불러온 후, 옵션들을 설정해준다
단점이라면 위도/경도를 또 다시 입력해주어야 하는 번거로움이 있다
위에 그림에서 radius는 반경 몇 km를 기준으로 할 것인가이다 나는 1km를 기준으로 하였다
또한, 결과물은 /home/kali/recon_ng ~ 쪽으로 저장되게끔 설정해주었다
추출된 결과물은 위와 같다 왼쪽이 media.html이며, 오른쪽이 map.html의 결과이다
HYBE를 기준으로, 반경 1km의 올라온 flickr 사진들 리스트와, 해당 사진들의 위치들을 표시한 것이다
사진을 취미로 찍는 사람들이 올리는 경우가 많아서 퀄리티도 상당히 괜찮다
번외. youtube 모듈을 활용하여, 특정 위치의 youtube 게시물 긁어오기
번외편으로, youtube 모듈을 사용하여 특정 위치의 Youtube 게시물을 긁어와 보겠다
이것 또한, geocode를 사용하였다면, 현재 HYBE 위치로 세팅되어 있을 것이다
바로 run을 입력하면 위에 그림과 같이 표시될 것이다
해당 모듈도, pushpin 모듈에 포함되기 때문에, 앞에 과정에서 알아보았듯 바로 시각화가 가능하다
검색 결과로 나온 것중에서, 가장 위에 내용을 youtube에 직접 입력해보았다
그 결과, 위에 그림과 같이 정확히 일치하는 것을 확인할 수 있다
마무리
나의 집 근처에서도, Youtube 모듈을 활용하여 크롤링을 해보았다
가게들이 직접 유튜브 홍보 영상을 올리기도 하고, 상당히 높은 구독자를 가진 유튜버가 영상을 올리기도 하였다
오늘 게시물은, 내가 recon-ng에 관한 보고서를 작성했던 과정에서, 아쉬웠던 점을 채우기 위하여 작성한 것이다
보고서를 작성할 때는, 특정 모듈들이 동작하지 않아서 아쉬움이 많이 남았기 때문이다
그리고 개인적이지만, 국내 OSINT 검색 툴인 Criminal IPeh recon-ng에 들어갔으면 하는 바람이 있다
6개월 전쯤에, Kali 도구인 theHarvester에 Criminal IP가 들어갔던 소식을 들었기 때문이다
끝~