À medida que a IA se move cada vez mais da nuvem para o dispositivo, como, exatamente, alguém pode saber se tal ou qual novo laptop executará um aplicativo com tecnologia GenAI mais rápido do que laptops rivais prontos para uso – ou desktops ou all-in? -uns, por falar nisso? Saber pode significar a diferença entre esperar alguns segundos para que uma imagem seja gerada e alguns minutos – e como dizem, tempo é dinheiro.
MLCommons, o grupo industrial por trás de uma série de padrões de benchmarking de hardware relacionados à IA, quer para facilitar a comparação com o lançamento de benchmarks de desempenho direcionados a “sistemas clientes” – ou seja, PCs de consumo.
Hoje, a MLCommons anunciou a formação de um novo grupo de trabalho, MLPerf Client, cujo objetivo é estabelecer benchmarks de IA para desktops, laptops e estações de trabalho executando Windows, Linux e outros sistemas operacionais. A MLCommons promete que os benchmarks serão “orientados por cenários”, com foco em casos reais de uso do usuário final e “baseados no feedback da comunidade”.
Para esse fim, o primeiro benchmark do MLPerf Client se concentrará em modelos de geração de texto, especificamente o Llama 2 da Meta, que o diretor executivo da MLCommons, David Kanter, observa que já foi incorporado em outros conjuntos de benchmarking da MLCommons para hardware de datacenter. A Meta também fez um extenso trabalho no Llama 2 com a Qualcomm e a Microsoft para otimizar Llama 2 para Windows – muito benéfico para dispositivos que executam Windows.
“Chegou o momento de trazer o MLPerf para os sistemas clientes, já que a IA está se tornando uma parte esperada da computação em todos os lugares”, disse Kanter em um comunicado à imprensa. “Estamos ansiosos para nos unirmos aos nossos membros para trazer a excelência do MLPerf para os sistemas dos clientes e impulsionar novos recursos para a comunidade mais ampla.”
Os membros do grupo de trabalho do cliente MLPerf incluem AMD, Arm, Asus, Dell, Intel, Lenovo, Microsoft, Nvidia e Qualcomm – mas notavelmente não a Apple.
A Apple também não é membro do MLCommons, e um diretor de engenharia da Microsoft (Yannis Minadakis) co-preside o grupo MLPerf Client – o que torna a ausência da empresa não totalmente surpreendente. O resultado decepcionante, no entanto, é que quaisquer que sejam os benchmarks de IA que o MLPerf Client evoca, não serão testados em dispositivos Apple – pelo menos não no curto prazo.
Ainda assim, este escritor está curioso para ver que tipo de benchmarks e ferramentas emergem do MLPerf Client, com suporte para macOS ou não. Supondo que a GenAI veio para ficar – e não há indicação de que a bolha esteja prestes a estourar tão cedo – eu não ficaria surpreso em ver esses tipos de métricas desempenharem um papel cada vez mais importante nas decisões de compra de dispositivos.
Na minha melhor das hipóteses, os benchmarks do cliente MLPerf são semelhantes às muitas ferramentas online de comparação de construção de PC, dando uma indicação sobre qual desempenho de IA se pode esperar de uma máquina específica. Talvez eles se expandam para cobrir telefones e tablets no futuro, dada a participação da Qualcomm e da Arm (ambas investem pesadamente no ecossistema de dispositivos móveis). É claramente o começo – mas há esperança.