칼럼 · AI 활용

AI 생성 코드 검증 방법: 테스트·보안·코드 리뷰 체크리스트

AI가 만든 코드는 “실행된다”는 것만으로 검증이 끝나지 않아요. 검증은 코드가 요구사항을 충족하는지, 정상·예외 상황에서 기대대로 동작하는지, 권한과 보안에 문제가 없는지, 기존 기능을 망가뜨리지 않았는지를 근거를 남기며 확인하는 일이에요. 이 글은 그 순서를 하나의 예제로 끝까지 따라가요.

검증은 무엇을 확인하는 일인가요

AI가 코드를 써줬든 내가 직접 썼든 확인할 대상은 같아요. 다만 AI가 만든 코드는 내가 모든 줄을 쓰지 않았기 때문에, 의도하지 않은 동작이 섞여 있을 가능성을 염두에 두고 더 꼼꼼히 확인해야 해요. 검증 범위는 다섯 가지로 나눌 수 있어요.

검증의 다섯 가지 범위
범위확인할 질문예
요구사항 충족요청한 기능을 빠짐없이, 요청한 방식대로 하나요?검색어가 제목에만 적용되어야 하는데 본문까지 검색하지 않는가
실행 동작정상 입력에서 기대한 결과가 나오나요?“회의록”으로 검색하면 해당 메모가 나오는가
예외 처리빈 값·너무 긴 값·결과 없음에서 어떻게 되나요?빈 검색어에 오류 대신 안내가 나오는가
권한·보안볼 수 없는 사람에게 데이터가 노출되지 않나요?다른 사용자의 메모가 결과에 섞이지 않는가
기존 기능 영향바꾸지 않은 기능이 그대로 동작하나요?검색을 추가한 뒤 메모 목록 정렬이 그대로인가

“실행된다”, “빌드된다”, “테스트가 통과한다”의 차이

세 표현은 자주 같은 뜻처럼 쓰이지만 확인하는 범위가 달라요. 어느 단계까지 확인했는지 정확히 말할 수 있어야 남은 위험을 알 수 있어요.

확인한 것과 보장하지 않는 것
표현확인한 것보장하지 않는 것
실행된다코드를 돌렸을 때 바로 멈추지 않는다결과가 맞는지, 다른 입력에서도 동작하는지
빌드된다문법과 (타입이 있는 언어라면) 타입 규칙을 통과해 배포할 수 있는 형태로 만들어진다실제 동작이 요구사항과 같은지
테스트가 통과한다테스트로 작성해둔 상황에서 기대한 결과가 나온다테스트를 쓰지 않은 상황, 화면·실제 서버 환경에서의 동작

검증 순서 6단계

  1. 요구사항·완료 조건 정리
  2. 변경 코드 확인
  3. 자동 검사와 테스트
  4. 화면·API 동작 확인
  5. 문제 수정
  6. 재검증
  1. 요구사항·완료 조건 정리: 코드를 보기 전에 “무엇이 되면 끝인가”를 문장으로 적어요. 정상 상황과 예외 상황을 함께 적어야 다음 단계의 확인 항목이 생겨요.
  2. 변경 코드 확인: AI가 바꾼 파일과 줄을 모두 읽어요. 요청하지 않은 파일이 바뀌었는지, 새 패키지가 추가됐는지, 비밀키나 테스트용 주소가 들어갔는지 특히 확인해요.
  3. 자동 검사와 테스트: 정적 검사, 타입 검사, 단위·통합 테스트를 실행해요. 실패하면 원인을 읽고, 테스트를 지워서 통과시키지 않아요.
  4. 화면·API 동작 확인: 실제로 화면을 열거나 API를 호출해 1단계에 적은 상황을 하나씩 확인해요. 자동 테스트가 다루지 않는 부분을 여기서 잡아요.
  5. 발견한 문제 수정: 원인을 기록하고 고쳐요. 같은 문제가 다시 생기지 않도록 그 상황을 테스트로 추가하면 좋아요.
  6. 재검증: 수정 뒤에는 3~4단계를 다시 해요. 한 곳을 고치다 다른 곳이 깨지는 경우가 흔해요.

예제로 끝까지 따라가기: 내 메모 검색 기능

설명을 위한 가상 예시 앱이에요. 실제 서비스의 검증 결과가 아니며, 요구사항과 가정도 설명을 위해 정한 것이에요.

요구사항과 가정

  • 로그인한 사용자는 자기 메모 중 제목에 검색어가 들어간 메모만 볼 수 있다.
  • 검색어 앞뒤 공백은 무시하고, 영문 대소문자는 구분하지 않는다.
  • 빈 검색어는 검색하지 않고 “검색어를 입력해주세요”라고 안내한다.
  • 검색어는 50자까지 받는다. 넘으면 검색하지 않고 안내한다.
  • 가정: 로그인한 사용자 정보(user)는 서버가 세션으로 확인해 넘겨준다. 이 예제 함수는 그 값을 받기만 한다.
상황별 확인 표
상황입력·조건기대 동작확인 방법
정상 입력사용자 a, 검색어 “회의록”사용자 a의 “회의록 정리”만 나온다단위 테스트 + 화면에서 직접 검색
빈 입력검색어 “ ”(공백만)검색하지 않고 안내 문구를 보인다단위 테스트 + 화면 안내 문구 확인
결과 없음검색어 “예산”빈 목록과 “결과가 없어요” 안내단위 테스트 + 화면 확인
잘못된 입력51자 검색어검색하지 않고 길이 안내단위 테스트 + 서버에도 같은 제한이 있는지 코드 확인
권한 없는 접근로그인하지 않은 요청결과 없이 로그인 필요 상태단위 테스트 + 로그아웃 상태로 API 직접 호출
search.mjs — 실행 환경: Node.js 20 이상(작성 시 v26.0.0), 외부 의존성 없음
// 내 메모 검색 — 로그인한 사용자의 메모 중 제목에 검색어가 들어간 것만 돌려준다.
export const MAX_QUERY_LENGTH = 50;

export function searchNotes(notes, rawQuery, user) {
  if (!user) return { status: 'unauthorized', items: [] };
  const query = String(rawQuery ?? '').trim();
  if (query === '') return { status: 'empty', items: [] };
  if (query.length > MAX_QUERY_LENGTH) return { status: 'invalid', items: [] };
  const q = query.toLowerCase();
  const items = notes.filter(
    (n) => n.ownerId === user.id && n.title.toLowerCase().includes(q),
  );
  return { status: items.length ? 'ok' : 'no-results', items };
}
search.test.mjs — Node.js 내장 테스트 러너(node:test) 사용
import { test } from 'node:test';
import assert from 'node:assert/strict';
import { searchNotes } from './search.mjs';

const notes = [
  { id: 1, ownerId: 'a', title: '회의록 정리' },
  { id: 2, ownerId: 'a', title: '배포 체크리스트' },
  { id: 3, ownerId: 'b', title: '회의록 초안' },
];
const userA = { id: 'a' };

test('정상 입력: 내 메모 중 제목이 맞는 것만', () => {
  const r = searchNotes(notes, '회의록', userA);
  assert.equal(r.status, 'ok');
  assert.deepEqual(r.items.map((n) => n.id), [1]);
});
test('빈 입력: 검색하지 않고 empty', () => {
  assert.equal(searchNotes(notes, '   ', userA).status, 'empty');
});
test('결과 없음: no-results', () => {
  assert.equal(searchNotes(notes, '예산', userA).status, 'no-results');
});
test('잘못된 입력: 50자 초과는 invalid', () => {
  assert.equal(searchNotes(notes, 'x'.repeat(51), userA).status, 'invalid');
});
test('권한 없는 접근: 로그인하지 않으면 unauthorized', () => {
  assert.equal(searchNotes(notes, '회의록', null).status, 'unauthorized');
});
실행 방법과 결과 — 이 글을 쓸 때 실제로 실행한 결과의 요약
$ node --test
ℹ tests 5
ℹ pass 5
ℹ fail 0

이 테스트가 통과해도 확인되지 않은 것이 남아요. 실제 화면에서 안내 문구가 보이는지, 서버가 정말 세션으로 사용자를 확인하는지, 브라우저에서만 50자를 막고 서버에서는 막지 않는 것은 아닌지, 메모가 많을 때 속도가 괜찮은지는 4단계의 화면·API 확인과 코드 리뷰로 따로 봐야 해요. 이런 항목은 검증 기록의 ‘미확인 사항’에 적어두세요.

검사 방법별 역할

검사 방법마다 잘 잡는 문제가 달라요. 명령어를 외우는 것보다, 지금 확인하려는 위험에 맞는 방법을 고르는 것이 중요해요.

검사 방법별로 확인하는 것
방법쉬운 정의언제 쓰나요놓치기 쉬운 것
정적 검사(lint)코드를 실행하지 않고 규칙 위반·실수 패턴을 찾는 검사코드를 고칠 때마다, 저장·커밋 전에실제 동작 결과
타입 검사값의 종류(숫자·문자 등)가 맞게 쓰였는지 실행 전에 확인TypeScript 같은 타입 언어에서 빌드 전에타입은 맞지만 값이 틀린 경우
단위 테스트함수 하나처럼 작은 단위를 입력·기대 결과로 확인규칙이 분명한 계산·검사 로직다른 부분과 연결했을 때의 문제
통합 테스트여러 부분(서버·DB 등)을 함께 돌려 확인API·DB 조회처럼 연결이 중요한 기능화면에서의 사용 흐름
화면 테스트실제 브라우저에서 사용자처럼 눌러보며 확인핵심 사용 흐름(가입·결제·검색)느리고 깨지기 쉬워 모든 경우를 다루기 어려움
코드 리뷰다른 사람(또는 나중의 나)이 변경 내용을 읽고 판단모든 변경, 특히 권한·보안·데이터 변경실행해야 드러나는 문제

빠르고 작은 단위 테스트를 많이 두고, 느리고 넓은 테스트는 핵심 흐름 위주로 적게 두는 방식을 흔히 ‘테스트 피라미드’라고 불러요. 정적 검사와 타입 검사는 실행 전에 실수를 걸러주지만 동작이 맞는지는 알려주지 않으니 테스트와 함께 써야 해요.

실무 보안 점검

AI가 만든 코드에서 특히 놓치기 쉬운 다섯 가지예요. 각 항목은 아래 참고 자료의 공식 문서를 기준으로 정리했어요.

1. 비밀키 노출

API 키·비밀번호를 코드나 설정 파일에 직접 적지 말고 환경 변수나 비밀값 관리 도구로 넘겨요. AI가 예시 코드에 키 자리를 실제 값처럼 채워 넣는 경우가 있으니 변경 내용을 꼭 확인하세요. 저장소에 키가 올라갔다면 기록을 지우는 것보다 먼저 그 키를 폐기하고 새로 발급해야 해요. GitHub의 비밀값 스캔처럼 저장소에 올라간 키를 찾아주는 기능을 켜두면 도움이 돼요.

2. 입력값 처리

브라우저에서 입력을 검사했더라도 서버에서 다시 검사해야 해요. 허용할 형식을 정하고 나머지를 거절하는 방식(허용 목록)이 위험한 문자열을 하나씩 막는 방식보다 안전해요. 입력값을 데이터베이스 조회에 쓸 때는 문자열을 이어 붙이지 말고 매개변수화된 쿼리(prepared statement)를 써야 해요. 입력 검사만으로 SQL 인젝션이나 XSS를 막을 수 있다고 보지 마세요.

3. 접근 권한

공개 자료가 아니라면 기본은 “접근 거부”로 두고, 허용할 때만 명시적으로 열어요. 권한 확인은 사용자가 바꿀 수 없는 서버 쪽 코드에서 해야 해요. 화면에서 버튼을 숨기는 것은 권한 확인이 아니에요. 예제의 경우 “다른 사용자의 메모 번호로 직접 요청하면 어떻게 되는가”를 꼭 확인해야 해요.

4. 의존성(외부 패키지)

AI가 제안한 패키지가 실제로 존재하고 관리되고 있는지, 이름이 비슷한 다른 패키지는 아닌지 확인해요. 꼭 필요한 패키지만 추가하고, 버전을 고정하는 잠금 파일(lockfile) 변경도 함께 리뷰해요. npm을 쓴다면 npm audit으로 알려진 취약점이 있는 패키지를 확인할 수 있어요.

5. 외부 AI에 보내면 안 되는 코드·데이터

외부 AI 서비스에 붙여 넣은 내용은 그 서비스의 정책에 따라 저장·처리될 수 있어요. 비밀키, 고객 개인정보, 운영 데이터, 회사가 공개를 허용하지 않은 코드는 보내지 마세요. 오류를 물어볼 때는 필요한 부분만 잘라 값을 가짜로 바꾸고, 회사의 AI 사용 정책이 있다면 먼저 확인하세요.

흔한 실수

  • AI가 “테스트를 통과했다”고 말한 것을 직접 실행해보지 않고 믿어요.
  • 실패하는 테스트를 고치지 않고 지우거나 건너뛰게 바꿔요.
  • 정상 입력만 확인하고 빈 값·긴 값·권한 없는 요청은 확인하지 않아요.
  • 요청하지 않은 파일 변경이나 새 패키지 추가를 리뷰 없이 넘겨요.
  • 확인하지 못한 항목을 기록하지 않아, 나중에 무엇이 검증됐는지 알 수 없어요.

검증 기록 양식

검증 기록은 “무엇을 확인했고, 무엇은 확인하지 못했는지”를 남기는 문서예요. 팀 리뷰에도 쓰이고, 이력서나 면접에서 검증 경험을 설명할 때 근거가 돼요.

검증 기록 양식 — 변경 하나당 하나씩
변경: (무엇을 바꿨나 / AI에 요청한 내용)
요구사항: (완료 조건 — 정상·예외 상황 포함)

확인 항목 | 방법 | 실행 결과
---------|------|---------
         |      |

발견한 문제: (무엇이, 어떤 조건에서)
수정 내용: (원인과 고친 방법, 추가한 테스트)
미확인 사항: (이번에 확인하지 못한 것과 이유)
  • 요구사항에 정상·예외 상황이 모두 적혀 있나요?
  • AI가 바꾼 파일과 줄을 모두 읽었나요?
  • 정적 검사·타입 검사·테스트를 직접 실행했나요?
  • 화면이나 API로 핵심 상황을 직접 확인했나요?
  • 권한 없는 요청을 서버에서 막는지 확인했나요?
  • 비밀키·개인정보가 코드와 AI 대화에 들어가지 않았나요?
  • 새로 추가된 패키지를 확인했나요?
  • 확인하지 못한 항목을 기록했나요?

PROBE 진단 기록과 실제 검증 경험은 달라요

PROBE의 AI역량검증은 지원하는 AI 개발 도구의 사용 기록에 남은 행동을 봐요. 별도 터미널에서 실행한 테스트, 도구 밖에서 받은 코드 리뷰, 직접 화면을 열어 확인한 과정은 기록에 남지 않을 수 있어요. 그렇다고 이런 확인이 덜 중요한 것은 아니에요. 진단 결과를 위해 형식적인 명령을 실행하기보다, 실제로 필요한 검증을 하고 그 과정을 검증 기록과 이력서·프로젝트 설명에 남겨두세요.

검증 경험을 이력서 문장으로 옮기는 방법은 AI 활용 경험 이력서 작성법에서 다뤄요.

참고 자료