AI가 다 해줄 줄 알았는데

요즘 AI를 활용한 서비스들이 쏟아져 나오고 있습니다.
저희도 아이디에이션 단계에서 나온 아이템 중 하나를 AI를 활용해 빠르게 만들어볼 수 있을 것 같아, 프로덕트 개발을 시작했습니다.
ChatGPT 같은 AI를 활용하면 금방 원하는 결과를 얻을 수 있을 거라 예상했고,
빠르면 몇 주 안에 프로토타입을 만들 수 있을 거라 생각했습니다.
하지만 막상 작업을 시작해 보니, 다양한 시행착오가 있었습니다 ^^

처음에는 단순히 ChatGPT에 요청을 넣으면 원하는 결과를 얻을 수 있을 거라 생각했지만,
실제로는 입력 데이터부터 결과를 어떻게 받아야 할지까지 꽤 세밀하게 설계해야 했습니다.
예를 들어, 한 번의 요청으로 2,000개의 결괏값을 받아보려고 했지만,
여러 차례 시도 끝에 우리가 원하는 형태로 한 번에 2,000개의 결과를 얻는 것은 불가능하다는 결론을 내렸습니다.

항상 일정한 품질을 유지하는 것도 아니었습니다.
처음에는 10개 정도의 결괏값을 요청하면 꽤 만족스러운 응답을 받을 수 있었지만,
같은 요청을 반복하거나 한 번에 50개, 100개를 요청하면 퀄리티가 급격히 떨어졌습니다.
중복된 응답이 많아지거나, 아예 엉뚱한 답변이 나오기도 했습니다.
중복을 방지하기 위해 “고유값을 반환해달라”고 요청하고 “모든 중복을 제거했다”는 답변을 받았음에도 불구하고,
상당한 중복이 발생하는 경우도 있었습니다.
중복을 개선하고 나니, 아주 작은 요소만 바꿔 마치 다른 값처럼 보이게끔 결과를 제공하기도 했습니다.
원하는 방식대로 응답을 도출하기가 생각보다 쉽지 않았습니다.

또 서비스 특성상 여러 주제에 대해 같은 요청을 해야 했는데요.
처음에는 통일된 프롬프트 하나로 해결하려고 했습니다.
하지만 특정 주제에서는 좋은 결과가 나오고, 다른 주제에서는 퀄리티가 떨어지는 현상이 발생했습니다.
결국 AI가 스스로 문맥을 이해하고 조정해 줄 것이라는 기대를 버리고,
주제별로 프롬프트를 세밀하게 조정하는 작업이 필수적이라는 걸 깨달았습니다.

ChatGPT가 인간의 뇌 구조를 모방해 만들어졌다고 하던데,
그래서인지 예상대로 동작하는 컴퓨터라기보다는 계속 변하는 유기체에 가까운 느낌이었습니다.
“이제는 원하는 결과를 받을 수 있겠지?” 싶으면, 예상치 못한 태업이 있기도 했습니다.
같은 요청을 넣어도 결과가 달라지고, 한 번 잘 나오던 것이 다음에는 엉뚱하게 나오기도 하고
가끔은 응답을 하지 않고 멈춰있는 경우도 있었습니다. (소위 ‘파업’이라고 부를 수도 있겠습니다…)
애타게 요청을 하다가 “오늘은 여기까지 하자.” 하고 포기하면, 갑자기 “알겠습니다!”라는 응답이 돌아오더라고요.
AI를 활용하는 과정에서 이런 변수들도 고려해야 한다는 점을 직접 사용해 보니 알게 됐습니다.

“이걸 AI가 해결할 수 있도록 요청을 계속 더 다듬어야 하나, 아니면 사람이 직접 개입해서 해결하는 게 맞나?”라는 고민의 연속이었습니다.
ChatGPT를 계속 써 보니, 결국 한 번에 많은 데이터를 요청하기보다는 여러 번 나눠서 요청하고,
응답에 따라 요청도 계속 커스터마이징해야 한다는 것을 받아들이게 되었습니다. (ChatGPT가 자비스는 아니다.)
L은 “AI의 A가 사실 제 이니셜인 A가 아니냐”는 농담을 하기도 했습니다.
그래도 이번 아이템을 준비하며 ChatGPT라는 친구와 나름 친해진 것 같습니다.
어떻게 요청하면 원하는 결과를 얻을 수 있는지에 대한 데이터가 조금 쌓이게 되었달까요.

이제 서비스 준비가 마무리 단계에 있기 때문에, 다음 라이브러리에서는 소개해 드릴 수 있지 않을까 싶습니다.
AI가 할 수 있는 것과 사람이 개입해야 하는 것의 균형을 맞춰가면서,
더 완성도 높은 서비스를 만들어 나가려 합니다.

모쪼록 다음 라이브러리에서는 좀 더 구체적인 이야기로 찾아뵐 수 있길 바라봅니다!

---