AI의 실수 빈도수가 줄어서 의식적으로 체크해야되는것
조회 1,625 · 공감 0 · 댓글 5
예전에는 거짓말 환각 말도안되는걸 바로바로 캐치가 될정도인데
요즘은 틀리는 빈도수 자체도 줄고 틀렸다라는걸 인지하려면
현상이 발생하거나, 본인이 전문가급의 지식을 가지고있어서 어떤 촉이와야 잡아낼수있던데
아예 공식처럼 박혀있는 일반론적인 지식은 어지간하면 펙트체크 안하는데
조금이라도 거짓이 들어가거나 오판할부분은 더블체크는 기본이고 3번 4번 체크하는걸 의식적으로 해야되는듯요
코드쪽으로 예를들면 모르실테니 어떤 아파트를 구입하려는데 알아보려한다고 생각해봅시다
그러면 AI한테 시키면 1차원적으로 그 아파트 공식홈페이지나 관련 뉴스등에서 좋은말만 싹 긁어옵니다
그리고 그걸 정리해서 말해줍니다
근데 재건축이 걸려있고 들어가면 1억을내야되고 공사를 더해야되고 내부에 어떤뭔가 주민이권세력이있고
이런건 전혀 감지하지못해요.. 물론 프롬프트를 어떻게 쓰냐에따라 감지할수있지만 그냥 알아봐줘하면 모릅니다
무슨일을 하건간에 이제 더블체크 크로스체크 아니면 타AI를 통해서 체크한다거나 하는식
"다각도 방면에서 누락된것 위험도를 조사해줘" 또는 "내가 놓쳤을법한 체크리스트를 보여줘" 등으로
휴먼체크를 해야됩니다
댓글 5
프로젝트 만들어서 사려고하는 아파트에 대한 것이라면 범위 넓게 잡아서 싹 긁어 오게 만들고..
그걸 또 팩트 체크해가면서 md로 정리하고, 그 md를 다른 모델로 팩트체크하고.....
근데 이렇게 돌리면 비용이 후덜덜합니다. API라서 구독제를 쓰지 못하니 종량제로 써야 하는데...
3사 에이전트 3개를 풀로 1시간쯤 돌리면 500달러 넘게 나올걸요...?
하루종일 조사하면 한 3000~4000달러...? 500만원정도? 한달 일하면 25일 잡으면 1억넘게 나오겠네요.
...그래서 이렇게 돌리는게 현실성은 좀 없는 것 같습니다.
검증 모델도 줄이고, 싼거랑 비싼거 잘 섞어쓰고 등등...하네스 잘 짜는게 더 중요한 것 같아요.