순위를 어떻게 매기는가

같은 일을 시켰을 때 결과가 얼마나 정확하고 쓸 만한가.

무엇을 보는가 · 해당 분야 표준 벤치마크, 독립 비교 리뷰, 제3자 재현 결과. 벤더 자체 발표만 있는 수치는 근거로 인정하지 않는다.

5점

동종 분야 상위권을 여러 독립 출처가 일관되게 확인

1점

실사용 품질 근거가 벤더 발표 외에 없음

실무에서 실제로 쓰이는가. 붙일 수 있는 것이 많은가.

무엇을 보는가 · 공개된 사용자·고객 규모, 주요 IDE·플랫폼 연동 수, 패키지 다운로드·스타 추이, 채용 공고에서의 언급.

5점

업계 표준에 준하는 채택, 연동 생태계가 두텁다

1점

소수 얼리어답터 수준, 연동 거의 없음

최근 6개월 사이 실제로 얼마나 나아졌는가. AI 도구는 정체가 곧 퇴보다.

무엇을 보는가 · 릴리스 노트·체인지로그의 최근 6개월 주요 기능 추가, 모델·엔진 갱신 주기.

5점

6개월 내 굵직한 개선이 반복됨

1점

6개월 이상 의미 있는 변화 없음

지불하는 값어치를 하는가. 무료 구간에서 판단이 되는가.

무엇을 보는가 · 공개 가격표, 무료 구간의 실사용 가능성, 사용량 과금의 예측 가능성, 동급 대비 단가.

5점

동급 대비 저렴하거나 무료 구간만으로 판단 가능

1점

비싸고 과금이 예측 불가

업무에 넣어도 되는가. 장애와 정책 변경을 회사가 견딜 수 있는가.

무엇을 보는가 · 공개 상태 페이지의 장애 이력, 기업용 계약·데이터 처리 정책, 보안 인증, 공급사 존속 가능성.

5점

안정적 운영 이력 + 기업 도입 조건 정비

1점

잦은 장애 또는 데이터 처리 정책 불명확

우리 팀이 오늘 시작할 수 있는가.

무엇을 보는가 · 공식 문서 품질, 설치·연결까지의 단계 수, 한국어 자료 유무, 초기 학습 곡선.

5점

문서만 보고 당일 도입 가능

1점

전담 인력 없이는 시작조차 어렵다

나중에 갈아탈 수 있는가. 락인이 얼마나 되는가.

무엇을 보는가 · 공개 API·표준 프로토콜 지원, 데이터 내보내기, 오픈소스 여부, 모델·백엔드 교체 가능성.

5점

표준 API·내보내기 지원, 교체 경로가 있다

1점

데이터도 설정도 빠져나올 수 없다