Neste domingo (02), durante a Computex 2024, a Nvidia lança de maneira oficial o Nvidia NIM. O serviço, cuja sigla significa Nvidia Inference Microservices, traz ferramentas variadas para auxiliar empresas de todos os tamanhos a criar aplicativos com auxílio da inteligência artificial.
Recorrendo ao conceito de IA generativa, o serviço permite criar ferramentas como chatbots e copilotos em minutos. Ele também é capaz de maximizar a eficiência de qualquer infraestrutura, podendo produzir cinco vezes mais tokens por segundo ao rodar o Llama 3-8B da Meta.
Todas as ferramentas foram pré-construídas com softwares de inferência da Nvidia, entre eles o Triton Inference Serve e o TensorRT-LLM. Além disso, os pacotes apresentam suporte a modelos abertos e privados, sejam eles da própria Nvidia ou de outras empresas. Dentre as parceiras, podemos citar Microsoft, Google e Meta, por exemplo.
“Toda empresa está procurando uma forma de adicionar a IA generativa em suas operações, mas nem toda companhia tem um time dedicado de pesquisadores voltado para IA. Integração com plataformas em qualquer lugar, sempre acessível aos desenvolvedores e rodando o tempo todo: o Nivida NIM está ajudando a colocar a IA generativa no alcance de qualquer empresa”, explicou Jensen Huang, CEO da Nvidia.
Nvidia aposta no mercado de IA generativa com o lançamento do Nvidia NIM. (Fonte: GettyImages/Reprodução)Fonte: GettyImages/Reprodução
Custos da ferramenta
Para as empresas interessadas em usar o Nvidia NIM, ele estará disponível por meio da plataforma Nvidia AI Enterprise sem nenhuma taxa para desenvolvedores. Dessa forma, é possível utilizar, sem limitação, todos os recursos para desenvolvimento e pesquisa para cloud, datacenter ou estações de trabalho pessoais.
Caso queiram, os desenvolvedores também podem obter uma licença renovável por meio do programa Nvidia Developers. O preço dela é de US$ 4,5 mil (cerca de R$ 23 mil) anuais por GPU, ou US$ 1 (R$ 5) por GPU a cada hora contratada do serviço.
Para saber mais sobre os serviços, é possível visitar o site das plataformas de IA da Nvidia para encontrar informações sobre o Nvidia NIM e vários outros produtos da companhia.
