Data Platform · MLOps · 대규모 AI/GPU Infrastructure Leader

견고한 인프라와 비용 효율성으로
전사 AI 프로덕션을 가속하는 엔지니어링 리더

안녕하세요. 탄탄한 데이터 엔지니어링 역량을 바탕으로 대규모 MLOps 및 차세대 AI/GPU Platform을 설계·운영해 온 엔지니어링 리더 우종호입니다. 인프라 레이어의 견고함과 비용 효율성을 극대화하여 조직 전체가 AI 기술을 빠르고 민첩하게 프로덕션에 적용할 수 있도록 돕는 엔지니어링 리더입니다.

LinkedIn (torreswoo) GCP Certified (MLE · DE · ACE)
토스 (비바리퍼블리카) ML/AI Infra Team Leader
⚙️ Data Platform & MLOps

Spark, Kafka, Flink 기반의 대용량 실시간/배치 데이터 파이프라인 및 Feature Store 구축 경험을 바탕으로, 데이터 기반 설계부터 ML 모델 서빙·운영까지 엔드투엔드로 연결합니다.

☁️ Cloud-Native & Hybrid

Kubernetes 생태계 전반에 대한 높은 이해도를 갖추고 있으며, AWS·GCP 퍼블릭 클라우드뿐 아니라 대규모 온프레미스 IDC 환경을 아우르는 하이브리드 인프라를 직접 구축하고 트러블슈팅했습니다.

🚀 AI / GPU Platform 구축

토스에서 ML/AI Infra 팀을 신설·리드하며 수백 대 규모의 GPU(H200, A100 등) 클러스터 구축, Kueue 기반 GPU 스케줄링 및 Quota 재설계, vGPU·RDMA 최적화, vLLM/Dynamo 기반 LLM 서빙을 지원했습니다.

🎯 프로젝트 리딩 & 문제해결

다양한 도메인에서 팀 빌딩과 기술적 의사결정을 주도해 왔으며, 복잡한 인프라 병목과 장애의 근본 원인을 끝까지 파고들어 구조적으로 해결하는 데 강점이 있습니다.

Core Technical Architectures

최신 핵심 프로젝트 & 인프라 아키텍처

토스 ML/AI Infra 팀을 이끌며 직접 아키텍처를 설계하고 전사 프로덕션에 적용한 핵심 기술 4가지를 심플한 다이어그램으로 설명합니다.

ARCH: KUEUE_DYNAMIC_QUOTA_SYSTEM
Workload Submission LayerJupyter / TrainJob / Ray / LLM
AI Research & Modeling
Platform Services
Interactive Notebooks
▼ Mutating & Validation Webhook
Policy & Quota Layer (Kueue + Kyverno)Usage-based Admission
Kyverno Policy Enforcement
ClusterQueue (Cohort / Quota)
Preemption & Reclaim Logic
▼ 3-Tier Layered Scheduling
Unified Compute FleetDynamic Shared Pool
H200 Unified Multi-Node Cluster
A100 / L40S GPU Fleet
Dedicated CPU-Only Node Pool

GPU 스케줄링 Quota 체계 전환 (Volcano → Kueue)

과거 노드 단위 물리적 격리로 인한 자원 파편화와 워크로드 과설정으로 인한 GPU 노드 내 CPU/메모리 잠식 문제를 구조적으로 해결했습니다.

  • ▸
    사용량 기준 Quota 체계 전환: Volcano에서 Kueue로 전사 전환(2026.09)을 완료하고, 팀별 Quota 및 유휴 자원 선점/회수(Preemption/Reclaim)를 라이브 환경에 적용했습니다.
  • ▸
    3단계 스케줄링 계층화 및 정책 일원화: Placement(노드 배치) → Admission(Kueue 크레딧/선점) → Device Allocation(DRA/공유)으로 계층을 분리하고, Kyverno로 정책 주입을 일원화했습니다.
  • ▸
    자원 잠식 구조적 해소: CPU 전용 노드 풀 분리 투입 및 Airflow 템플릿 최적화를 통해 GPU 노드의 불필요한 CPU 예약과 메모리 오버헤드를 대폭 절감했습니다.
ARCH: 4-TIER_GPU_OBSERVABILITY_&_XID_RUNBOOK
Hardware & Kernel TelemetryLevel 1 & 2
NVML (NVIDIA Driver)
NVIDIA DCGM Telemetry
Linux Kernel dmesg
▼ High-frequency Scraping & Aggregation
Processing & Metrics PipelineLevel 3 & 4
Custom Infra Exporter
Prometheus / Grafana
Elasticsearch / Kibana
▼ 5-Step Incident Diagnosis & Automated Operations
Operations & Automated RunbookWeb Admin & Alerting
GPU Status Dashboard
Node Admin Web UI
XID Incident Tracker & Runbook

GPU 관측성 & 장애 대응 체계화

"먼저 데이터로 보이게 만든다"는 원칙 아래 직관적인 관측 시스템과 하드웨어 레벨의 트러블슈팅 런북을 체계화하여 재발 방지 구조를 확립했습니다.

  • ▸
    4계층 수집 파이프라인 & Admin UI: NVML → DCGM → Exporter → Prometheus/Grafana로 이어지는 텔레메트리 파이프라인과 노드 운영 전용 Web Admin UI를 구축했습니다.
  • ▸
    XID 사건 트래커 & 표준 런북: 주요 XID 에러 코드별 사건 트래커와 다중 로그 소스를 교차 검증해 하드웨어/애플리케이션 원인을 판별하는 5단계 판정 런북을 정립했습니다.
  • ▸
    심층 근본원인 규명: Service Mesh와 NCCL 고속 통신 간의 상호작용 이슈 해결, vGPU 환경에서 CPU 폭증을 유발한 특정 GPU 드라이버 커널 버그 격리 및 패치를 완수했습니다.
ARCH: HIGH_SPEED_FABRIC_&_STORAGE
Workload ElasticityvGPU & GPU Partitioning
MPS (Multi-Process Service)
HAMi (vGPU Sharing)
MIG (Hardware Isolation)
▼ Ultra-Low Latency Interconnect (NCCL Tuning)
High-Performance AI FabricRDMA / RoCEv2 / InfiniBand
H200 InfiniBand NDR Fabric
RoCEv2 RDMA Network
GPUDirect Storage (GDS)
▼ High-Throughput NVMe Flash Fabric
Storage ArchitectureHigh-Bandwidth AI Storage
VAST Data Storage
Local NVMe Cache Tier

GPU 공유, 초고속 네트워킹 & 스토리지 최적화

초대형 AI 모델의 서빙 및 분산 학습 속도를 좌우하는 네트워크 I/O와 스토리지 대역폭 병목을 근본적으로 해소했습니다.

  • ▸
    vGPU 가상화 최적화: MPS(다중 프로세스 분할 확대), HAMi, MIG를 워크로드 특성에 맞게 적용하여 추론 서빙 밀도를 극대화하고 GPU 비용 효율을 높였습니다.
  • ▸
    VAST RoCEv2 네트워크 튜닝: H200 클러스터에 RoCEv2 RDMA 최적화를 적용해 스토리지 I/O 대역폭을 대폭 향상시켰습니다.
  • ▸
    초대형 모델 로드 속도 단축: 대역폭 최적화를 통해 122B 규모 대형 모델의 체크포인트 로딩 시간을 획기적으로 단축했습니다.
ARCH: DISAGGREGATED_LLM_&_AGENT_RUNTIME
Inference Routing LayerLLM Gateway
Dynamic Router / Load Balancer
Prompt & KV Cache Tracker
▼ Prefill / Decode Disaggregation (PD 분리)
NVIDIA Dynamo Distributed ServingvLLM Multi-Node
Prefill Cluster (Compute Dense)
KV Cache Transfer Engine
Decode Cluster (Memory Bandwidth)
▼ Hardened Execution Runtime
Isolated AI Agent Sandbox PlatformSecure Container Runtime
OpenSandbox Controller
Kata Containers (MicroVM)
gVisor Sandboxed Runtime

AI Platform 구축 (LLM 서빙, Agent Sandbox, 학습 플랫폼)

프론티어 LLM의 분산 추론 효율을 극대화하고, 자율형 AI Agent가 안전하게 코드를 실행할 수 있는 격리 샌드박스와 표준 학습 플랫폼을 구축했습니다.

  • ▸
    NVIDIA Dynamo PD Disaggregation: vLLM multi-node 클러스터에 Prefill/Decode 분리 아키텍처를 도입해 대형 모델의 분산 추론 처리량(Throughput)을 극대화했습니다.
  • ▸
    Agent Sandbox 인프라: Kata Containers 및 gVisor 기반 격리 환경을 구축하여 잠재적 커널 취약점을 차단한 안전한 에이전트 실행 플랫폼을 오픈했습니다.
  • ▸
    학습 Platform & 하이브리드 확장: Jupyter/VSCode 개발 환경, K8s TrainJob, Ray 분산 클러스터를 제공하며, 온프레미스 K8s 클러스터 Active-Standby 이중화 및 AWS EKS Hybrid Nodes 연동을 완성했습니다.
Work Experiences

전체 커리어 타임라인

비바리퍼블리카 (토스) ML/AI Infra Team Leader & Search Platform Lead
2025.12 ~ 현재

토스 AI Tribe의 ML/AI 인프라 레이어를 전담하는 팀을 신설하고 리드하며 대규모 온프레미스 멀티 IDC와 AWS를 아우르는 하이엔드 GPU(H200, A100 등) 클러스터 및 프론티어 LLM 서빙 생태계를 총괄하고 있습니다.

  • GPU 스케줄링 Quota 체계 전환: 노드 단위 격리를 사용량 기준으로 재설계하고 Volcano에서 Kueue로 전사 전환(2026.09), 팀별 Quota 및 선점/회수(Preemption/Reclaim) 적용, Kyverno 기반 정책 주입 일원화
  • GPU 관측성 및 장애 대응 체계화: GPU Status Dashboard, 노드 운영 Admin Web UI, 주요 XID 에러 코드별 사건 트래커 및 5단계 판정 런북 구축으로 장애 근본원인 규명 및 재발 방지 체계화
  • GPU 공유, 네트워크, 스토리지 최적화: vGPU(MPS, HAMi, MIG) 및 H200 RDMA(RoCEv2) 적용으로 스토리지 대역폭 최적화 및 122B 대형 모델 로드 속도 단축
  • AI Platform 구축: vLLM multi-node 및 NVIDIA Dynamo PD Disaggregation 기반 LLM 서빙, Kata/gVisor 기반 Agent Sandbox 인프라 오픈, Ray/TrainJob 학습 플랫폼 및 멀티클러스터 Active-Standby 이중화
  • 차세대 GPU 아키텍처 로드맵 수립: H200 InfiniBand 클러스터 구축 완료 및 차세대 GPU 아키텍처 검증(PoC), 대규모 전력·냉각 수용성 분석 기반 인프라 확장 전략 수립
Kubernetes Kueue NVIDIA H200 RoCEv2 / InfiniBand vLLM / Dynamo VAST Storage Kata Containers Kyverno
비바리퍼블리카 (토스) ML Platform Team / MLOps Engineer
2024.12 ~ 2025.11

실시간 스트림 처리(Flink, Kafka, StarRocks)와 Aerospike 온라인 스토리지를 연계한 차세대 실시간 Feature Store 및 학습 데이터 생성 도구인 Trainkit을 자체 구축했습니다.

  • 광고 DA(pCTR) 및 커머스·인벤토리 도메인 실시간 Feature 서빙 파이프라인 구축 및 서빙 스큐 해소
  • Aerospike 온라인 스토리지 클러스터 구축·운영(스키마 재설계, 멀티 클러스터 구성, 6.3→8.1 무중단 업그레이드) 및 서빙 배치 처리 성능 고도화
  • Feature 관리/Lineage/모니터링 Admin 개발 및 PIT Join·Multi Feature Pack을 표준화한 Trainkit 개발
Aerospike Apache Flink StarRocks Kafka Feature Store Trainkit
위대한상상 (요기요) MLOps Team Leader & Data Engineer
2023.05 ~ 2024.11

추천 시스템 엔지니어로 합류 후, 분산되어 있던 검색/추천/예측 엔지니어링 조직을 통합하여 MLOps팀을 신설하고 Team Leader로서 전사 ML 플랫폼을 총괄했습니다.

  • DBT 및 DataHub 기반의 BigQuery DW 환경 도입으로 데이터 품질 검증 및 Lineage 관리 체계 구축
  • MLflow, Feast 기반 AI Flywheel 파이프라인 설계로 전사 ML 모델 라이프사이클 일원화
  • Flink, Kafka, Redis 기반 실시간 사용자 행동 로그 개인화 추천 시스템 서빙 구축
MLOps Leadership DBT BigQuery MLflow Apache Flink
카카오모빌리티 Data & MLOps Engineer (Part Leader)
2019.02 ~ 2023.05

모빌리티 인텔리전스 연구소에서 실시간 스트리밍 데이터 파이프라인 및 전사 A/B 테스트 실험 플랫폼, MLOps 서빙 체계를 리딩했습니다.

  • 택시·대리 AI 배차, 다이내믹 프라이싱, 수요예측 모델 서빙 자동화 (K8s, Istio, Seldon-Core)
  • 사내 전사 A/B 테스트 실험 관리 및 사용자 세그먼트 분석 플랫폼 개발·운영
  • GCP 기반 전사 Data Warehouse 및 MLOps 환경 구축 (BigQuery, Dataproc, Dataflow, Vertex AI)
GCP / BigQuery Apache Spark Flink A/B Testing Seldon-Core
ZEPL (Apache Zeppelin SaaS) DevOps & Backend Engineer
2018.04 ~ 2019.01

Apache Zeppelin SaaS 서비스를 위해 Docker 및 Kubernetes 기반 멀티 클라우드·엔터프라이즈 온프레미스 배포 패키징과 백엔드 시스템을 구축했습니다.

Kubernetes Terraform (IaC) AWS Helm
SK플래닛 Software Development Engineer (System Software)
2015.01 ~ 2018.03

대규모 서버 환경에서 발생하는 대용량 비정형 로그 수집·처리 분산 모니터링 시스템(Kafka, Elasticsearch) 및 사내 A/B 테스트 플랫폼(PLab)을 개발했습니다. (SUPEX추구상 수상)

Kafka Cluster Elasticsearch Distributed Logging Java / Spring Boot