핫딜 사이트(스팀, 에픽게임즈 등) 크롤링 사용기

안녕하세요?

최근에 AI 바이브코딩이 유행하면서 크롤링도 유행하는 것 같습니다.

그래서 알뜰구매 등에 관심이 많아서 여러 사이트를 오가며 게시글을 보던 정보들을 한 곳에서 보고 싶어서

모아퉁이라는 사이트를 만들게 되면서 겪었던 문제들의 해결방법을 공유해봅니다.

쇼핑몰의 알뜰구매 정보와 게임 매체마다 할인 정보들을 매번 찾아다니기 힘들어서

모아서 보고 싶었고 그러기 위해서는 크롤링을 해야했지만 

GPT나 클로드를 통해 각 사이트크롤링을 시키면 실패하는 케이스도 많았고 토큰 소모도 커서 부담이 되었던게 사실입니다.

ego 브라우저 사이트

그러다 알게 된 게 ego 브라우저와 Aside 브라우저입니다.

각각의 역할이 조금씩 다르긴 하지만 크롤링에 있어서는 ego 브라우저가 좋은 것 같고

자동화에는 aside 브라우저가 좋았던 것 같습니다.

두 브라우저 모두 설치 후 gpt 스킬에 연결해주고

/명령어로 불러와서 바로 사용이 가능해졌습니다.

확실히 gpt를 통해 크롤링하는 것보다 성능도 좋아지고 토큰도 덜 소모되는 느낌이었습니다.

비슷한 서비스를 구상중이신 분이면 추천드리는 방법입니다.

AI기반 브라우저들이 속속 출시되고 있는데 따라가기 너무 힘드네요^^;

모아퉁 사이트

그래서 한창 만들고 있는 모아퉁 서비스인데 각 알뜰구매들의 사이트를 크롤링해서 서비스를 보여주고 있습니다.

스팀 핫딜

스팀이나 에픽게임즈 그리고 닌텐도 e샵 할인정보까지 크롤링해서 보여주게 했습니다.

스팀의 경우 게임에 대한 평가 점수도 중요해서 같이 가져오고 있습니다.

닌텐도 e샵 핫딜

닌텐도 e샵은 외국과 비교도 할 수 있게 했는데 현재는 해외 구매가 막히는 바람에 한국가격 중심으로 보여주되

외국과의 비교지표도 함께 만들어뒀습니다.

이번에 인기를 끌었던 파이널판타지의 게임도 정확하게 가져와서 결국 구매까지 이어졌습니다.ㅎㅎ

이런 서비스가 싸다고 막 지르게 만드는 역효과도 있어서 소비 측정을 위해 가계부 기능도 만들어 뒀는데

그럼에도 소비가 느는 건 어쩔수가 없네요^^

놓치고 싶지 않은 제품 소식은 푸시 기능도 도입해서 앱을 통해서 알림을 받거나 웹의 경우 홈 바로가기 기능을 통해서 키워드 등록해서 받아보고 있습니다.

다음에도 괜찮은 스킬을 발견하면 알려드리겠습니다.

감사합니다.