대학을 위한 설정 권장 사항 (H200 대 RTX 6000 Pro) > 생성형 AI 구축 참고자료

• 목록
• 답변
• 글쓰기

현재 우리는 두 가지 주요 옵션을 고려하고 있습니다.

1. 4개의 NVIDIA H200 GPU(141GB)

2. 8x NVIDIA RTX 6000 Pro 블랙웰(96GB)

어떻게 생각하나요?

-------

상황에 따라 다릅니다. H200 4개를 모두 연결해서 훈련에 사용한다면 NVLink가 훨씬 빠릅니다. FP64가 필요하다면 H200은 필수입니다.

하지만 fp8 deepseek(현재 오픈 sota)를 실행하려면 이에 맞는 추가 vram이 필요합니다.