A Meta lançou o Llama 3.1, o maior modelo de inteligência artificial de código aberto da indústria, que demonstrou ser equivalente aos modelos de código fechado de rivais como o GPT-4 da OpenAI e o Claude 3.5 Sonnet da Anthropic em diversos testes de benchmark.
Desenvolvedores podem fazer o download através da página llama.meta.com e no Hugging Face, mas ele também está disponível em plataformas de nuvem como AWS, Azure, e Google Cloud. Para usuários dos Estados Unidos, o Llama 3.1 pode ser utilizado através dos chatbots do WhatsApp e do Meta.ai.
De acordo com a empresa, o novo modelo tem mais de 405 bilhões de parâmetros e foi treinado com mais de 16.000 GPUs H100 da Nvidia, atualmente os chips mais rápidos do mercado. Tendo em vista que cada H100 custa cerca de US$ 25.000, estima-se que o Llama 3.1 custou centenas de milhões de dólares para ser desenvolvido.
Os parâmetros são variáveis internas que permitem que o modelo raciocine e resolva problemas. Dessa forma, quanto mais parâmetros um modelo tiver, maior será seu desempenho. Para efeito de comparação, estima-se que o GPT-4 da OpenAI conta com cerca de 1,5 trilhão de parâmetros.
A Meta também explica que treinou o Llama 3.1 com um conjunto de dados de 15 trilhões de tokens até 2024, o que corresponde a 750 milhões de palavras. O modelo é capaz de realizar diversas tarefas, incluindo codificação, resolução de questões matemáticas, e resumo de textos em até oito idiomas.
Um dos destaques em relação aos modelos anteriores é sua janela de contexto maior, que suporta até 128 mil tokens. Janelas de contexto se referem aos dados de entrada (ou prompts) enviados pelo usuário. Dessa forma, com 128 mil tokens, os usuários poderão enviar textos de até 50 páginas.
Em comparação com rivais, o artigo sobre o modelo explica que o Llama 3.1 tem um desempenho próximo do GPT-4 da OpenAI e resultados mistos em comparação com o GPT-4o e Claude 3.5 Sonnet, conforme relataram avaliadores humanos contratados pela Meta. No entanto, apesar de o Llama 3.1 ter um desempenho superior ao GPT-4o na execução de código e geração de gráficos, suas capacidades multilíngues são inferiores. No aspecto de programação e raciocínio lógico, o novo modelo da Meta teve um desempenho inferior ao Claude 3.5 Sonnet.
Em carta publicada no blog da Meta, Mark Zuckerberg declarou que o Llama 3.1 será revolucionário para a indústria de IA e que a maioria dos desenvolvedores passará a usar modelos de código aberto.
Com informações de TechCrunch e The Verge.
FIQUE POR DENTRO!
