소프트웨어 품질성능 평가시험 운영에 관한 지침

제1장 총칙

이 지침은 「소프트웨어 진흥법」(이하 "법"이라 한다) 제55조, 같은 법 시행령(이하 "영"이라 한다) 제49조, 제50조, 제51조 및 같은 법 시행규칙(이하 "규칙"이라 한다) 제15조, 제16조에서 위임된 사항과 그 시행에 관하여 필요한 세부사항을 규정함을 목적으로 한다.

이 지침에서 사용하는 용어의 정의는 다음과 같다.

1. "소프트웨어 품질성능 평가시험”이라 함은 동종의 경쟁 제품 간 비교시험을 통해 소프트웨어 구매자의 요구사항을 만족하고 품질 및 성능이 우수한 제품을 가려내는 행위를 말한다.

2. "시험요구사항”이라 함은 국가기관등의 요구사항 중에서 시험가능성을 고려하여 재정의한 요구사항을 말한다.

3. "평가항목”이라 함은 시험요구사항의 만족여부를 판단하기 위한 최소 평가단위를 말한다.

4. "시험방법”이라 함은 평가결과를 얻기 위해 세부적으로 수행하는 행위를 기술한 절차를 말한다.

5. "판정기준”이라 함은 평가결과(합격, 부분합격, 불합격, 적용불가)를 판단하여 정하는데 필요한 기준을 말한다.

① 영 제21조에 따른 국가기관등의 장은 제4조에 따라 지정된 시험기관(이하 "시험기관”이라 한다)에 소프트웨어 품질성능 평가시험(이하 "평가시험”이라 한다)을 대행 의뢰하는 경우에는 이 지침을 적용한다.

② 국가기관등의 장이 평가시험을 직접 실시하는 경우에는 필요한 세부사항을 직접 수립하거나 이 지침에서 정한 세부사항을 준용할 수 있다.

제2장 시험기관 지정

① 법 제55조제1항, 영 제49조제3항, 규칙 제15조에 의하여 시험기관 지정에 필요한 사항은 다음 각 호와 같다.

1. 시험기관으로 지정받고자 하는 자는 규칙 제15조에 따라 과학기술정보통신부장관에게 신청하고 영 별표2에 따른 지정심사를 받아야 한다.

2. 영 별표2의 소프트웨어 품질성능 평가시험기관 지정요건에 관한 심사기준은 별표1과 같다.

3. 과학기술정보통신부장관은 시험기관 지정을 위하여 심의위원회를 구성할 수 있다.

4. 심사절차는 1차 서류 심사와 2차 현장심사로 진행되며, 심의위원 전원합의에 의하여 적격자를 선정한다.

② 법 제55조제1항 및 제4항에 따라 과학기술정보통신부장관이 지정한 시험기관은 별표2와 같다.

① 법 제55조제1항 및 영 제49조에 따라 지정받은 시험기관은 다음 각 호의 역할을 수행할 수 있다.

1. 평가시험

2. 소프트웨어 분야별 품질성능 평가모델 개발

3. 주요기능 평가시험

4. 주요성능 평가시험

5. 자동화도구 개발 및 배포

6. 종합정보시스템 운영

7. 기타 평가시험과 관련한 세부사항

② 과학기술정보통신부장관은 필요시 시험기관의 장에게 다음 각 호의 자료를 요청할 수 있다.

1. 평가시험 신청 및 수행 현황

2. 평가시험 결과

3. 기타 시험기관 관리·감독에 필요한 자료

① 시험기관의 장은 평가시험 수행을 위하여 평가시험 검토위원회(이하 "검토위원회”)를 구성 및 운영할 수 있다.

② 검토위원회는 평가시험 분야에 대한 전문성을 고려하여 시험기관의 장이 다음 각 호의 자중에서 3인 이상 10인 이내의 위원을 위촉하여 구성할 수 있다.

1. 대학의 전임강사 이상으로 3년 이상 연구 경력을 가진 자

2. 국·공립 연구기관의 책임연구원급 이상인 자

3. 평가시험 대상 제품 관련 연구개발 분야에서 10년 이상 근무한 자

4. 기타 동등이상의 자격을 갖추었다고 시험기관의 장이 인정한 자

③ 검토위원회는 다음 각 호를 검토하고 결정한다.

1. 평가시험 환경 및 항목의 타당성

2. 평가시험 절차 및 결과의 적정성

3. 기타 평가시험에 관련된 주요사항

④ 기타 시험기관의 장이 필요하다고 인정하는 경우에는 검토위원회를 개최할 수 있다.

제3장 평가시험 대상 및 실시 여부

① 영 제50조제1항에서 ‘과학기술정보통신부장관이 품질성능 평가시험이 필요하다고 인정하여 고시하는 상용소프트웨어 제품’이란 경쟁입찰을 통한 직접구매 대상 상용소프트웨어 제품 중에 구매 금액이 1억원(부가가치세를 포함한다) 이상으로서 별표3에 해당하는 소프트웨어 제품을 말한다. 다만, 「소프트웨어사업 계약 및 관리감독에 관한 지침」 제8조제3항의 사업의 경우에는 구매 금액이 2억원(부가기치세를 포함한다) 이상으로서 별표3에 해당하는 소프트웨어 제품만을 대상으로 한다.

② 국가기관등의 장은 평가시험 대상이 국가종합전자조달시스템의 종합쇼핑몰에 등록된 제품일 경우에는「조달사업에 관한 법률」제11조 및 같은 법 시행령 제11조제1항에 따라 조달청장에게 계약 체결을 요청하여야 한다. 이 경우에는 영 제50조제1항 및 제1항의 평가시험 대상에서 제외한다.

③ 「정보보호산업의 진흥에 관한 법률」 제17조에 따라 정보보호제품에 대한 성능평가를 획득한 소프트웨어 제품의 경우에는 평가시험 결과를 대체할 수 있다.

① 국가기관등의 장은 제7조제1항의 평가시험 대상 소프트웨어 제품을 구매하는 경우에는 평가시험을 실시하여야 한다. 다만, 소프트웨어 제품 구매 금액 대비 평가시험 비용이 큰 경우, 기존에 사용하던 소프트웨어 제품을 증설하는 경우 등 시험비용 대비 효과가 낮다고 국가기관등의 장이 인정하는 경우 제11조제1호에 따라 국가기관등의 장과 시험기관의 장이 협의하여 평가시험을 실시하지 않을 수 있다.

② 국가기관등의 장이 제1항에 따라 평가시험을 실시하는 경우 기존에 동일한 소프트웨어 제품에 대하여 시험기관이 종전에 실시한 평가시험 결과(이하 "종전 시험 결과”라 한다) 또는 제5조제1항 제3호, 제4호의 사전 평가시험 결과의 활용을 우선 검토하여야 한다.

③ 국가기관등의 장은 제2항에 따라 종전 시험결과 또는 사전 평가시험 결과를 활용하고자 하는 경우에는 시험기관의 장에게 요청하여 종전 시험결과를 서면(전자문서를 포함한다)으로 교부받을 수 있다.

④ 국가기관등의 장은 제1항 또는 제2항에 따라 평가시험을 실시하거나 종전 시험결과를 활용하고자 하는 경우에는 이를 입찰공고문 및 제안요청서에 명시하여야 한다.

⑤ 제7조에서 정한 평가시험 대상에 해당하지 않는 경우에도 국가기관등의 장이 필요하다고 판단하는 경우에는 평가시험을 수행할 수 있다.

제4장 평가시험 운영기준

① 영 제50조제2항에 따른 평가시험에 관한 권고 기준은 다음 각 호와 같다.

1. 협의한 시험요구사항에 부합하는지의 여부

2. 사전 공지한 시험기간 내에 해당 시험이 모두 종료되는지 여부

3. 원칙과 절차에 따라 평가시험이 정상적으로 종료되는지 여부

4. 평가시험 참여업체의 과실 혹은 비협조, 기타 악의적인 행위 없이 평가시험이 정상적으로 종료되는지 여부

② 제1항의 경우 외에 시험방법, 판정기준 등 세부평가시험 기준은 국가기관등의 장 및 참여업체의 의견을 수렴하여 시험기관이 정한다.

① 시험비용은 국가기관등의 장이 부담한다. 다만, 시험비용 분담의 필요가 있는 경우에는 국가기관등의 장은 소프트웨어 공급자의 분담금이 평가시험 수행비용을 넘지 않는 범위 내에서 소프트웨어 공급자와 협의하여 분담금액을 정할 수 있다. 이 때 국가기관등의 장은 분담금액을 시험기관의 장에게 통지할 수 있다.

② 과학기술정보통신부장관은 제1항에 따라 국가기관등의 장이 부담하는 시험비용의 일부를 지원할 수 있다.

③ 법 제55조제3항에 따른 시험비용은 인건비, 직접경비, 제경비, 기술료를 합한 금액으로 하며 세부사항은 별표4와 같다.

제5장 평가시험 세부절차

국가기관등의 장은 법 제55조제1항에 따른 평가시험을 시험기관에 대행 의뢰하고자 하는 경우 사전규격공개 전에 시험기관의 장에게 다음 각 호의 사항에 대해 사전협의를 요청하여야 한다.

1. 평가시험 실시 여부 및 수행주체

2. 소프트웨어 품목 및 평가시험 일정

3. 평가시험에 소요되는 시험비용(이하 "시험비용”이라 한다)

4. 제안요청서의 평가시험 안내 등에 관한 사항

5. 기타 국가기관등의 장이 평가시험 실시에 필요하다고 인정한 사항

① 국가기관등의 장이 제14조제3항에 따라 평가시험을 시험기관의 장에게 대행 의뢰하는 경우 시험기관의 장은 국가기관등의 장의 요구사항을 분석하여 평가시험 계획을 수립하여야 한다. 이때 평가시험 계획은 다음 각 호의 사항을 포함한다.

1. 수행원칙

2. 시험환경

3. 평가항목

② 제1항제3호의 평가항목은 다음 각 호 중 하나로 구분하여 구성할 수 있다.

1. 소프트웨어 품질성능 평가에 활용 가능한 국제표준(ISO/IEC) 또는 국내표준(TTA, KS)의 특성/분류

2. 기능평가

3. 성능평가

③ 국가기관등의 장은 시험기관이 수립한 평가항목별 중요도에 따라 배점 및 채점 기준을 수립해야 한다.

① 국가기관등의 장이 필요하다고 인정하는 경우 시험기관의 장에게 입찰공고 기간 이내에 제12조제1항의 평가시험 계획을 설명하도록 할 수 있다. 이 경우 입찰공고 기간이란 사전규격공개 시작일로부터 본공고 종료일까지를 말한다.

② 시험기관의 장은 제1항에 따라 평가시험 계획을 설명하는 경우 국가기관등의 장 및 소프트웨어 제품을 공급하려는 자(이하 ‘소프트웨어 공급자’라 한다)로부터 시험환경 및 평가항목에 대한 의견을 수렴할 수 있다.

① 국가기관등의 장은 별지 제1호서식의 평가시험 참여의향서를 제출한 소프트웨어 공급자에 한하여 평가시험에 참가하도록 할 수 있다.

② 국가기관등의 장은 제1항에 따라 평가시험의 참가를 제한하는 경우에는 미리 그 사실을 입찰공고문 및 제안요청서에 명시하여야 한다.

③ 국가기관등의 장은 평가시험을 시험기관에 대행 의뢰하려는 경우 규칙 제16조에 따라 평가시험 대행 의뢰서를 서면으로(전자문서를 포함한다) 시험기관의 장에게 제출하여야 한다. 이때 소프트웨어 공급자가 제출한 참여의향서를 첨부하여야 한다.

① 국가기관등의 장이 제14조제3항에 따라 시험기관의 장에게 평가시험 대행을 의뢰하는 경우 시험기관의 장은 특별한 사정이 있는 경우를 제외하고는 평가시험을 수행하여야 한다.

② 제14조에 따라 평가시험에 참여하는 소프트웨어 공급자는 평가시험에 필요한 사항을 지원할 수 있다.

③ 제1항에 따라 평가시험을 수행하는 경우 국가기관등의 장은 평가시험에 필요한 사항을 제공할 수 있다.

① 시험기관의 장은 평가시험이 종료된 경우 국가기관등의 장에게 평가시험 결과를 서면(전자문서를 포함한다)으로 교부하여야 한다.

② 시험기관의 장은 제14조에 따라 평가시험에 참여한 소프트웨어 공급자에게 평가시험 결과를 서면(전자문서를 포함한다)으로 교부할 수 있다. 다만, 시험기관의 장과 소프트웨어 공급자들 사이에 사전동의가 없는 경우 다른 소프트웨어 공급자의 평가시험 결과를 교부하여서는 아니된다.

③ 국가기관등의 장은 제1항에 따라 시험기관의 장으로부터 교부받은 평가시험 결과를 법 제55조제1항 및「소프트웨어 기술성 평가기준」제4조에 따라 반영하여야 한다.

④ 국가기관등의 장이 제3항에 따라 평가시험 결과를 반영하고자 할 경우에는 미리 그 사실을 입찰공고문 및 제안요청서에 명시하여야 한다.

제6장 결과 재활용

① 국가기관등의 장이 제8조제2항에 따라 종전 시험결과 또는 사전 평가시험 결과를 활용할 수 있도록 시험기관의 장은 소프트웨어 공급자들의 동의를 받아 평가시험 수행이력을 종합정보시스템에 공개할 수 있다.

② 제1항의 종전 평가시험 수행이력은 다음 각 호의 내용을 포함한다.

1. 사업명

2. 소프트웨어 품목

3. 평가시험 환경

4. 평가항목

③ 제1항의 사전 평가시험 수행이력은 다음 각 호의 내용을 포함한다. 다만, 사전 평가시험 결과의 경우에는 그 결과공개에 동의한 업체에 한하여 공개할 수 있다.

1. 소프트웨어 품목

2. 평가시험 환경

3. 평가항목

4. 평가결과

① 국가기관등의 장은 제8조제2항에 따라 종전 시험결과 또는 사전 평가시험 결과를 활용하고자 할 경우에는 다음 각 호의 사항을 확인하여야 한다.

1. 신규로 사업에 참여하려는 소프트웨어 공급자가 있는지의 여부

2. 종전에 동일한 제품에 대하여 평가시험을 수행한 소프트웨어 공급자 중 평가시험을 다시 실시하려는 자가 있는지의 여부

② 제1항 각 호 중 어느 하나에 해당하여 평가시험의 실시가 필요한 경우에는 제14조를 준용한다.

③ 제1항의 경우 외에 국가기관등의 장이 참고자료로 활용하기 위하여 종전 시험결과를 요청하는 경우에도 시험기관의 장은 소프트웨어 공급자들의 동의를 받아 평가항목 또는 평가시험 결과를 제공할 수 있다.

제7장 사전 평가시험

① 시험기관의 장은 제5조제1항에 따라 주요기능 평가시험, 주요성능 평가시험 등 사전 평가시험을 실시할 수 있다.

② 제1항의 사전 평가시험을 수행하는 경우 사전 평가시험의 일정, 신청방법 등의 계획을 공고할 수 있다.

③ 시험기관의 장은 제2항에서 규정한 사항 외에 평가시험 실시에 관한 세부절차를 수립할 수 있다.

④ 시험기관의 장은 제2항의 평가시험 계획을 공고하기 1개월 이전까지 평가항목을 공개하여야 한다.

① 시험기관의 장은 평가시험 도구를 개발하여 국가기관등 및 소프트웨어 공급자에게 배포할 수 있다.

② 시험기관이 아닌 자가 평가시험 도구를 사용하여 얻은 결과는 평가시험을 대체할 수 없다.

제8장 행정사항

「훈령·예규 등의 발령 및 관리에 관한 규정」(대통령훈령 제394호)에 따라 2021년 1월 1일 기준으로 매3년이 되는 시점(매 3년째의 12월 31일까지를 말한다)마다 그 타당성을 검토하여 개선 등의 조치를 하여야 한다.