ProsGrow가 DeepSeek v4 Flash 첫 토큰 지연 시간을 최대 32% 줄인 방법
동일한 AMD MI325X GPU 8개에서 DeepSeek V4.1 Flash의 콜드 첫 토큰 지연 시간이 최대 32% 감소했으며, 원래 체크포인트 정밀도를 유지했습니다.
글 읽기 : ProsGrow가 DeepSeek v4 Flash 첫 토큰 지연 시간을 최대 32% 줄인 방법ProsGrow 엔지니어링
최신 AI 연구를 기업 워크로드에 적용합니다.
AI 모델과 추론 서빙 시스템의 발전을 기업 워크로드에 적용한 실측 결과를 성능, 품질, 비용 간의 절충 관계와 함께 소개합니다.
ProsGrow가 MiniMax-H3 영상 추론 지연 시간을 54% 개선하는 방법
MiniMax-H3 서버 추론은 동일한 GPU 8개에서 19.392초에서 8.913초로 줄었습니다. 별도 Wan 시험은 준비 상태 지연 시간을 59.1% 줄였습니다.
글 읽기 : ProsGrow가 MiniMax-H3 영상 추론 지연 시간을 54% 개선하는 방법
ProsGrow가 Whisper로 시간당 7,200시간 분량의 오디오를 처리한 방법
Whisper 벤치마크 처리량은 GPU 8개에서 실제 1시간당 원본 오디오 약 7,200시간으로 환산됩니다. 처리량이 2.63% 증가했고 정확도 테스트도 통과했습니다.
글 읽기 : ProsGrow가 Whisper로 시간당 7,200시간 분량의 오디오를 처리한 방법
ProsGrow가 Qwen3 배치 처리량을 132% 높인 방법
동일한 GPU에서 Qwen3 출력 처리량이 17,961에서 41,651토큰/초로 증가했습니다. 132% 향상은 ProsGrow 초기 구성을 기준으로 측정했습니다.
글 읽기 : ProsGrow가 Qwen3 배치 처리량을 132% 높인 방법
ProsGrow가 시간당 FLUX.2 이미지 변형 59,881장을 달성한 방법
단일 GPU 정밀도 변경으로 32.5% 향상한 뒤 GPU 8개 벤치마크에서 시간당 이미지 변형 59,881장을 달성했습니다. 노드 프로파일링으로 공유 자원이 결과 전달을 제한하는 지점을 확인했습니다.
글 읽기 : ProsGrow가 시간당 FLUX.2 이미지 변형 59,881장을 달성한 방법
ProsGrow가 RAG 원시 벡터 저장 공간을 75% 줄인 방법
SciFact 기준 nDCG@10의 99.58%를 유지하면서 원시 벡터 저장 공간이 75% 줄었습니다. 별도의 정밀도 연구에서는 임베딩 처리량이 69.10% 증가했습니다.
글 읽기 : ProsGrow가 RAG 원시 벡터 저장 공간을 75% 줄인 방법
ProsGrow가 시간당 문서 질문 45,978건을 처리한 방법
문서 질의응답은 동일한 GPU 8개에서 시간당 45,978건을 달성했습니다. 프로파일링으로 숨은 작업량 불균형을 밝혀 3.07%의 추가 처리 능력을 확보했습니다.
글 읽기 : ProsGrow가 시간당 문서 질문 45,978건을 처리한 방법
ProsGrow AI, Microsoft·Google Cloud·AWS 스타트업 프로그램과 함께 AI 인프라 및 추론 시스템 확장
ProsGrow AI는 프로덕션 배포, 최적화, GPU 운영을 위한 AI 추론 최적화 인프라를 구축합니다.
글 읽기 : ProsGrow AI, Microsoft·Google Cloud·AWS 스타트업 프로그램과 함께 AI 인프라 및 추론 시스템 확장
ProsGrow AI, NVIDIA Inception 프로그램 합류
ProsGrow AI는 NVIDIA Inception 회원이 되어 배포, 최적화, GPU 운영을 위한 AI 추론 최적화 인프라를 구축하고 있습니다.
글 읽기 : ProsGrow AI, NVIDIA Inception 프로그램 합류