디딤돌 R&D 성능 평가 후기

곧 디딤돌 R&D 과제가 종료됩니다.
벌써 1년이 지나 과제 마무리를 준비하고 있네요.

디딤돌 R&D 과제를 써보거나 수행해 보신 분들은 아시겠지만, 이러한 R&D 과제는 작성 당시에 성능 평가에 대한 목표를 설정합니다.
그리고 이 목표치에 대한 검증은 직접 할 수도 있지만, 대부분 협약 과정에서 공인기관을 통해 검증받도록 권고합니다.

제가 회사를 다닐 때 TTA와 협업했던 일이 있어 친숙한 기관이라 당연히 TTA로 진행하려고 준비했습니다.
개발 과정에서 많은 우여곡절과 일정 변경이 있었는데, 그러다 보니 시험 의뢰가 지연되었습니다.

사전에 TTA에 문의를 하긴 했으나, 2달 정도의 여유 기간이 있으면 충분할 것으로 생각하고
자료를 준비해서 전달하니 밀려있는 의뢰가 많아 11월을 넘길 것 같다고 피드백 받았습니다.

사실 이때까지만 해도 이런 검증을 해주는 기관이 TTA뿐인 줄 알고 있었고,
“불가피한 경우니 검증이 늦어진 것에 대한 소명자료를 준비하면 되겠구나” 생각했지만
모든 걸 의심(?) 해보는 A가 TIPA에 검증 기한과 기관에 대해 물어보면서 아니란 걸 알게 되었습니다.
(다행이죠..)

그렇게 KOLAS 인증 기관 중 아무 곳에서 받아도 상관없다는 피드백을 받고
한국아이티평가원(KSEL)에 연락을 하여 받게 됩니다.

KSEL에 의뢰하기 전에 TTA에 의뢰하면서 1차적으로 피드백을 받았던지라
테스트 시나리오가 매우 중요하다는 것을 알고 꽤 꼼꼼히 작성하였는데
꼼꼼히 작성하는 것뿐만 아니라 정말 원하는 성능에 대한 평가를 시나리오가 반영하고 있는지, “검증”을 할 수 있는지가 중요했습니다.

진행해 보니 사실 이렇게 완벽한 시나리오를 처음부터 구성하기는 어려움이 있을 것 같고
검증 테스트를 위해 방문했을 때 시나리오에 대한 시행착오&보완을 하게 됩니다.

개인적으로 평가를 진행할 때 현장에서 가장 중요했던 점은 불가피하게 시나리오의 변경이 필요할 때
얼마나 빠르게 현장에서 대응할 수 있는가였습니다.

앞서 얘기처럼 시나리오가 완벽하면 문제가 없겠지만,
비디어스를 개발하는 LAH는 공인 검증에 대해 잘 알지 못하고
검증 기관은 비디어스를 잘 알지 못하기 때문에 현장에서 대화를 통해 메꿔지면서 시나리오가 변경될 수 있기 때문입니다.

따라서 꼼꼼한 시나리오뿐만 아니라 성능 평가 당일까지
현장에서 대응이 가능한 인력과 시스템을 갖추는 것이 좋을 것 같습니다 🙂

아! 물론 가장 중요한 것은.. 개발이 완료되지 않았더라도 검증 시나리오를 미리 작성하고 미리 시나리오 검증을 마친 후에
개발 완료 시점에 맞춰 성능 평가 일정을 맞추는 것! 입니다.
(참고로 성능 평가는 시나리오에 따라 다르지만 LAH의 경우 약 3시간 정도 소요됐습니다.)

이로써 과제는 정말 마무리 단계로 접어드는 것 같습니다.
마지막까지 파이팅!

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

---