[AI픽] "GPU 많다고 능사 아냐"…AI 인프라, 운영 효율이 판가름

불편하시다면 뒤로 가기를 눌러주세요

IT 종사자 1천703명 조사…"GPU 비용 부담" 응답 36.5%

(서울=연합뉴스) 권하영 기자 = AI 인프라 경쟁력이 그래픽처리장치(GPU) 확보 규모보다 운영 효율로 결정된다는 인식이 확산하고 있다.

기업과 공공기관 IT 종사자 10명 중 7명 이상이 GPU 서버 비용과 전문 인력 부족을 AI 추론 환경 운영의 핵심 부담으로 꼽았다.

오케스트로 그룹은 지난달 28일 서울 코엑스에서 열린 테크 컨퍼런스 'OPUS 2026'에서 AI 인프라에 대한 고객 관심이 GPU 확보에서 추론 성능과 운영 효율로 옮겨가고 있음을 확인했다고 7일 밝혔다.

공공기관, 금융사, 제조·통신 대기업, IT 서비스 기업 등 IT 관계자 2천명 이상이 참석한 이 행사에서는 GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경의 효율적인 운영 방안에 대한 문의가 집중됐다.

오케스트로는 현장 수요를 종합한 결과, AI 인프라 경쟁력의 기준이 GPU 확보 자체에서 실제 운영 성과로 이동하고 있다고 분석했다.

이러한 흐름은 OPUS 2026 이후 기업·공공기관 IT 종사자 1천703명을 대상으로 한 조사에서도 확인됐다.

AI 인프라 또는 추론 환경 운영에서 가장 큰 부담으로 GPU 서버 비용(36.9%)과 AI 인프라 전문 인력 부족(36.5%)이 꼽혔다. AI 인프라 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다.

AI 추론 플랫폼 선택 시 고려 요소로는 추론 성능과 응답 속도(20.2%), GPU 활용률과 비용 효율(19.2%), 기존 인프라 및 클라우드 환경과의 연계성(16.7%) 순으로 나타났다.

오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI'로 이러한 수요에 대응하고 있다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 통해 응답 지연을 줄이고, 보유한 GPU 자원의 활용 효율을 높인다.

김민준 오케스트로 그룹 의장은 "고객과 현장의 목소리를 바탕으로 한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 해법을 지속적으로 제시해 나가겠다"고 말했다.

kwonhy@yna.co.kr

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.