1 Matching Annotations
  1. Last 7 days
  2. arxiv.org arxiv.org
    https://arxiv.org/abs/2604.05091
    1
    1. fxp007 16 Apr 2026
      On a single H200 GPU with 1.5TB host memory, MegaTrain reliably trains models up to 120B parameters.

      令人惊讶的是：仅使用一块配备1.5TB主机内存的H200 GPU就能训练1200亿参数的模型，这打破了人们对大规模模型必须依赖多GPU集群的固有印象。这一技术突破可能使超大规模模型训练变得更加普及和经济。

      surprising gpu-training model-scaling
    Visit annotations in context

    Tags

    Annotators

    URL

    arxiv.org/abs/2604.05091