## GPU 클라우드가 필요한 이유 AI 모델 학습과 서빙에는 GPU가 필수다. 사내 GPU만으로는 부족할 때 Vast.ai 같은 클라우드 GPU 마켓플레이스를 활용하게 됐다. XGen에서 Vast.ai 인스턴스를 직접 관리할 수 있는 시스템을 구축한 과정을 기록한다. ### Vast.ai API 연동 아키텍처 Vast.ai는 REST API를 제공하며, XGen 백엔드를 프록시로 사용해 프론트엔드에서 인스턴스를 관리한다. ``` [프론트엔드] → [XGen 백엔드 API] → [Vast.ai API] ``` ### GPU 오퍼 검색 UI 사용 가능한 GPU 인스턴스를 검색할 수 있는 UI를 구축했다. GPU 종류, 가격, VRAM, 네트워크 속도 등으로 필터링할 수 있다. ```typescript interface GpuOfferFilter { gpuName?: string; // 'RTX 4090', 'A100', 'H100' minVram?: number; // GB maxPrice?: number; // $/hr minUploadSpeed?: number; // Mbps minDownloadSpeed?: number; // Mbps minGpuCount?: number; region?: string; } interface GpuOffer { id: string; gpuName: string; gpuCount: number; vram: number; pricePerHour: number; uploadSpeed: number; downloadSpeed: number; reliability: number; location: string; } ``` ### 인스턴스 관리 모달 인스턴스를 임대하면 관리 모달에서 상태를 확인하고 제어할 수 있다. ```tsx const InstanceManagementModal: React.FC<{ instance: GpuInstance }> = ({ instance }) => (

); ``` ### 헬스 체크 시스템 인스턴스에 배포된 VLLM 서버가 정상 작동하는지 주기적으로 확인하는 헬스 체크 기능을 구현했다. ping 응답 시간, GPU 온도, 메모리 사용률 등을 체크하고, 비정상 시 알림을 보낸다. ### 비용 추적 대시보드 GPU 인스턴스의 시간당 비용이 누적되므로 비용 추적이 중요하다. 일별/주별/월별 사용 비용 추이를 차트로 보여주고, 예산 알림 기능도 제공한다. 의외로 이 기능이 가장 호응이 좋았다. ### 네트워크 속도 필터 추가기 초기에는 네트워크 속도 필터가 없었는데, 대용량 모델을 다운로드할 때 느린 인스턴스를 잡으면 시간이 너무 오래 걸려 이를 추가했다. 사소해 보이지만 실무에서 매우 중요한 필터였다.