[China, Shenzhen, 14 de julho de 2023] Hoje, a Huawei revelou sua nova solução de armazenamento de IA para a era dos modelos de grande escala, fornecendo soluções de armazenamento ideais para treinamento de modelos básicos, treinamento de modelos específicos do setor e inferência em cenários segmentados, assim liberando novos recursos de IA.
No desenvolvimento e implementação de aplicações de modelos em larga escala, as empresas enfrentam quatro grandes desafios:
Em primeiro lugar, o tempo necessário para a preparação dos dados é longo, as fontes de dados estão dispersas e a agregação é lenta, demorando cerca de 10 dias para pré-processar centenas de terabytes de dados. Em segundo lugar, para grandes modelos multimodais com conjuntos massivos de dados de texto e imagem, a velocidade atual de carregamento para arquivos pequenos e massivos é inferior a 100 MB/s, resultando em baixa eficiência para o carregamento do conjunto de treinamento. Em terceiro lugar, ajustes frequentes de parâmetros para modelos grandes, juntamente com plataformas de treinamento instáveis, causam interrupções de treinamento aproximadamente a cada 2 dias, necessitando do mecanismo Checkpoint para retomar o treinamento, com recuperação demorando mais de um dia. Por último, altos limites de implementação para modelos grandes, configuração complexa de sistemas, desafios de agendamento de recursos e utilização de recursos de GPU geralmente abaixo de 40%.
A Huawei está alinhando-se com a tendência de desenvolvimento de IA na era dos modelos de grande escala, oferecendo soluções adaptadas para diferentes indústrias e cenários. Ele apresenta o armazenamento de data lake de aprendizado profundo OceanStor A310 e o dispositivo superconvergente de treinamento/inferência FusionCube A3000. O OceanStor A310 Deep Learning Data Lake Storage visa cenários de grandes modelos de data lake básicos e de nível industrial, alcançando gerenciamento abrangente de dados de IA, desde agregação de dados, pré-processamento até treinamento de modelo e aplicativos de inferência. O OceanStor A310, em um único rack de 5U, suporta largura de banda líder do setor de 400 GB/s e até 12 milhões de IOPS, com escalabilidade linear de até 4.096 nós, permitindo comunicação contínua entre protocolos. O Global File System (GFS) facilita a transmissão inteligente de dados entre regiões, simplificando os processos de agregação de dados. A computação de armazenamento próximo realiza o pré-processamento próximo dos dados, reduzindo a movimentação de dados e melhorando a eficiência do pré-processamento em 30%.
O dispositivo superconvergente de treinamento/inferência FusionCube A3000, projetado para cenários de treinamento/inferência de grandes modelos de nível industrial, atende a aplicações que envolvem modelos com bilhões de parâmetros. Ele integra nós de armazenamento de alto desempenho OceanStor A300, nós de treinamento/inferência, equipamentos de comutação, software de plataforma de IA e software de gerenciamento e operação, fornecendo aos parceiros de grandes modelos uma experiência de implantação plug-and-play para uma entrega completa. Pronto para uso, pode ser implantado em 2 horas. Os nós de treinamento/inferência e armazenamento podem ser expandidos de forma independente e horizontal para atender a vários requisitos de escala de modelo. Enquanto isso, o FusionCube A3000 utiliza contêineres de alto desempenho para permitir o treinamento de vários modelos e tarefas de inferência para compartilhar GPUs, aumentando a utilização de recursos de 40% para mais de 70%. O FusionCube A3000 oferece suporte a dois modelos de negócios flexíveis: a solução One-Stop Huawei Ascend e a solução one-stop de parceiros terceirizados com computação aberta, rede e software de plataforma de IA.
O presidente da linha de produtos de armazenamento de dados da Huawei, Zhou Yuefeng, declarou: “Na era dos modelos em grande escala, os dados determinam o auge da inteligência de IA. Como transportador de dados, o armazenamento de dados torna-se a principal infraestrutura fundamental para modelos de IA em grande escala. O Armazenamento de Dados da Huawei continuará a inovar, fornecendo soluções e produtos diversificados para a era dos grandes modelos de IA, colaborando com parceiros para impulsionar o empoderamento da IA em uma ampla gama de indústrias.”
Horário da postagem: 01/08/2023
