LLM 평가·문항생성 파이프라인 AI 엔지니어

About

안녕하세요 뉴런소프트 대표 최영재입니다.
뉴런소프트는 교육 AI 분야에서 LLM 기반 학습·평가 솔루션을 개발하고 있습니다.

현재 수능형 수학 문항(문제·보기·정답·해설) 자동 생성 프로젝트를 운영 중이며, 단일 LLM 생성이 아닌 Mutator / Solver / Weaver / Reviewer 역할 분리, 독립 검산, SymPy·sanity filter 등 다단계 gated pipeline으로 품질을 통제하고 있습니다.
다음 단계는 「파이프라인이 돌아간다」를 넘어 「사람이 검수해도 쓸 수 있는 문항을 안정적으로 생산한다」는 것입니다.
그 전환을 이끌 파이프라인·평가 엔지니어를 모십니다.

Responsibilities

평가·검증 파이프라인 설계 및 개선 (생성 검산 기호검증 패러프레이즈 최종검수)
단계별 퍼널·reject 사유 분석, 게이트 정책·임계값 튜닝
반복 퇴화·정답 불일치 등 병목 타겟 개선 (salvage 로직 포함)
Baseline A/B 실험 및 품질·수율 리포트
재현 가능한 실험 체계 구축 (코드·설정·입출력·로그)
사람 검수 연동 및 통과율 KPI 관리
Python·GPU 환경 배치 파이프라인 운영

Requirements

Python 기반 ML/LLM·데이터 파이프라인 3년 이상 실무
LLM 생성 품질을 지표로 측정·개선한 경험
다단계 파이프라인(생성검증필터) 설계·운영 경험
실험 재현성(config, 로그, 스냅샷) 실무 감각
Linux·GPU 서버 운영·디버깅 경험

Preferred

교육 콘텐츠·문항 출제·평가 경험 (수학 우대)
수학 reasoning 모델 검산·verifier 구축
HuggingFace Transformers, LoRA
SymPy 등 기호·수식 검증
한국어 LLM fine-tuning
multi-GPU batch 운영

Benefits

1. 지분참여
2. 얼리엑싯회사
3. 야근식대
4. 최고의 동료
5. AI업무 친화기업