B2B 파일럿 성공 기준 — 업무완료와 오류를 사전에 합의하기

기준일 2026-10-17 · AZET 운영팀 작성

이 글은 서비스 운영사 AZET의 운영팀이 작성한 일반 실무 참고용 자료입니다. B2B 도입 시험의 판정 조건을 정하는 방법이며, 시험 대상 업무와 확보할 수 있는 관찰 자료에 따라 조정해야 합니다.

시험 담당자는 끝났다고 하는데 현업은 다시 손봐야 한다고 말한다면, 업무완료의 정의가 달랐을 수 있습니다. 파일럿 성공 기준은 시험 후의 소감을 모으는 문서가 아니라 무엇을 관찰하고 어떤 조건에서 판단할지 미리 합의하는 기준입니다.

완료와 오류, 관찰 범위를 구분합니다

업무완료는 입력을 끝냈다는 뜻인지, 다음 담당자가 결과물을 받아 사용할 수 있다는 뜻인지 정해야 합니다. 오류는 발생 여부뿐 아니라 업무에 미치는 영향과 복구에 필요한 개입을 함께 봅니다.

구분	사전에 정할 내용	남길 관찰 자료
업무완료	시작 상태와 인정할 결과물	결과물 및 인계 확인
오류	진행 중단과 수정 필요의 구별	발생 조건과 처리 내용
관찰 범위	참여자·업무 유형·자료 조건	실제 시험 대상 목록
제외 범위	이번에 다루지 않을 상황	제외 이유와 남은 질문
판정 조건	통과·재검토·판단 보류의 경계	조건별 근거와 미확인 항목

결과물과 사람의 개입을 함께 봅니다

가정 예시로 요청 문서를 정리하는 업무를 시험한다면, 문서가 만들어졌다는 사실만으로 완료 처리하지 않을 수 있습니다. 필요한 항목이 들어 있고 다음 담당자가 인계받을 수 있는 상태를 완료 조건으로 정할 수 있습니다.

담당자가 중간에 빠진 내용을 채웠다면 결과물과 함께 그 개입을 기록합니다. 수정 후 완료한 건과 별도 수정 없이 완료한 건을 구별해야 어떤 조건에서 업무가 끝났는지 설명할 수 있습니다.

오류의 구분은 업무 영향에 맞춰 합의합니다. 다음 단계로 넘길 수 없는 문제, 수정 후 진행 가능한 문제, 표현만 다듬으면 되는 문제를 나눌 수 있습니다. 구분별 대표 상황도 적습니다.

판단 보류 조건도 먼저 정합니다

관찰하지 못한 상황은 통과 항목에 넣지 않습니다. 특정 자료 유형만 시험했다면 결론도 그 유형으로 한정합니다. 참여자가 적거나 예외 상황을 다루지 못했다는 이유는 결과와 함께 남기고, 전체 업무에 대한 판단과 분리합니다.

관찰 자료가 빠졌거나 완료 기준이 중간에 바뀌었다면 판단을 미룰 조건을 적용합니다. 기준을 바꾼 경우 이전 결과와 이후 결과를 같은 조건의 시험처럼 합치지 않습니다. 재검토 항목과 필요한 자료도 적습니다.

마지막 판정에서는 각 조건 옆에 근거를 붙입니다. 확인된 항목, 충족하지 못한 항목, 아직 관찰하지 못한 항목을 구분해야 결론의 범위를 설명할 수 있습니다.

자주 묻는 질문(FAQ)

Q1. 성공 기준은 숫자로만 정해야 하나요? 결과물의 필수 항목이나 인계 가능 상태처럼 관찰 가능한 조건으로도 정할 수 있습니다. 판정자의 해석 차이를 줄일 설명을 붙입니다.

Q2. 오류가 한 번 나오면 실패인가요? 업무 영향과 사전에 합의한 판정 조건으로 판단합니다. 시험 뒤 유리한 쪽으로 오류의 정의를 바꾸지 않습니다.

Q3. 시험하지 않은 업무도 도입 가능하다고 써도 되나요? 이번 시험의 결론에서 분리합니다. 추가 관찰이 필요한 업무와 조건을 남겨 다음 검토 대상으로 삼습니다.

AZET에 관한 안내는 AZET 웹사이트에서 확인해 주세요.