Math Prompt Engineering

수학이라는 정밀한 도메인에서 LLM의 한계를 보완하기 위한 프롬프트 엔지니어링 전략 결정이다.

문제

LLM은 수학 문제 해결 시 논리적 추론보다 패턴 매칭에 의존하며, 수치 민감성과 복잡성 증가에 취약하다 (Mirzadeh et al., 2024).

결정: 6가지 기법 조합

1. JSON 형식 — 계층적 구조로 정보 조직화, 해석 오류 감소
2. Few-shot Prompting — 감점 상황 예시 제공
3. 역할 부여 + 문제 분해 — 점수별 답변 형식 세분화
4. Chain-of-Thought (CoT) — 모범답안과 채점기준 단계별 대조
5. COSP — 5가지 힌트 생성 후 일관성 있는 최적 답변 선택
6. 안전장치 — 만점 시 모범답안 원문 제공

근거

• Brown et al. (2020): Few-shot의 효과
• Wei et al. (2022): CoT 프롬프팅의 추론 능력 향상
• Reynolds & McDonell (2021): Zero-shot + 문제 분해
• Wan et al. (2024): COSP의 응답 정확성 향상