LLM Platform Engineer

About

• Moreh는 기존 AI 인프라의 한계를 극복하기 위해 하드웨어와 소프트웨어를 아우르는 새로운 시스템을 개발하는 것을 목표로 합니다.
• Product 팀은 특정 하드웨어에 종속되지 않는 고성능 분산 추론 프레임워크인 MoAI Inference Framework(MIF)를 구축합니다

Responsibilities

1. Performance Gateway 개발
• 사용자 요청과 클러스터 상태를 실시간으로 분석하여 Disaggregated Inference, Prefix-cache aware routing 등을 수행하는 지능형 게이트웨이를 개발합니다.

2. Inference Autopilot 개발
• Preset을 기반으로 하는 추론 서비스를 관리하는 오퍼레이터를 개발합니다.
• 트래픽 패턴과 클러스터 상황에 맞춰 추론 서비스를 수정하고 스케일링 하는 오퍼레이터를 개발합니다.

3. High-Fidelity Observability 구축
• OpenTelemetry를 활용하여 분산 환경에서 에러를 감지하고 디버깅하는 모니터링 파이프라인을 구축합니다.

4. AI-Native Development 리드
• AI Agent를 개발 프로세스에 통합합니다.
• 설계부터 검증까지 에이전트와 협업하며, 자동화된 엔지니어링 문화를 선도합니다.

Requirements

• Core Engineering: 컴퓨터공학 혹은 관련 전공 학부 졸업, 혹은 이와 동등한 경력
• Cloud Native Deep-Dive: 2년 이상의 Kubernetes 기반 운영 경험 및 Custom operator 개발 경험
• Programming: Go, Python, Rust 중 하나 이상의 프로그래밍 언어에 능숙하신 분
• Engineering Ownership: 단위/E2E 테스트 및 CI/CD 자동화를 통해 결과물의 품질을 유지하고 공개와 공유를 원칙으로 적극적으로 소통하시는 분
• Teamwork: 팀워크를 중시하고, 긍정적인 태도로 동료들과 적극적으로 협력할 수 있으신 분

Preferred

• AI Infrastructure: vLLM, SGLang, llm-d, Dynamo 등 오픈소스 추론 엔진의 기여 경험 또는 내부 아키텍처에 대한 깊은 이해
• Agentic Workflow: 개발 과정에서 AI Agent를 활용해 본인의 생산성을 수 배 이상 극대화해 본 경험
• Moreh Way: “Deep Dive, Rise Higher” 가치에 공감하며, 복잡한 문제를 끝까지 파고들어 엔드투엔드로 해결하는 능력을 갖추신 분

Benefits

• 복지포인트 연간 200만 원
• 입사 시 장비지원금 지원
• 유연출근제&재택근무
• 연 1회 종합건강검진 (본인 및 직계가족 1인)
• 생일 반차 휴가
• 장기근속 휴가
• 사내 동호회 지원 (보드게임, 클라이밍 등)
• 오피스 간식 제공 (과자, 음료수 등)
• 연말 오피스 클로징 (매년 12/28-12/31 유급휴가 제공)
• 중소기업 청년 소득세 감면 (연간 최대 200만 원)