Benchmark de gerador de texto com IA da Procyon®
Simplifique testes de desempenho de IA de LLM local
Testar o desempenho de LLM de IA pode ser muito complicado e demorado, com modelos completos de IA que exigem muito espaço de armazenamento e largura de banda para download. Há também muitas variáveis — como quantização, conversão e variações nos tokens de entrada — que podem reduzir a confiabilidade de um teste se não forem configuradas corretamente.
O Benchmark de gerador de texto com IA da Procyon oferece uma maneira mais compacta e fácil de testar repetidamente e de forma uniforme o desempenho da IA com vários modelos de IA de LLM. Trabalhamos em colaboração com muitos líderes de software e hardware de IA para que nossos testes de benchmark aproveitem ao máximo o hardware acelerador de IA local em seus sistemas.
Prompt 7 (dúvida sobre RAG): Como o benchmark pode fazer minha organização poupar tempo e dinheiro? Como escolher uma pontuação de benchmark de referência para RFPs? Faça um resumo de como testar com eficiência o desempenho dos PCs para a TI corporativa. Responda com base no contexto fornecido.
Here are the answers to your ques
Resultados e insights
Criado com a contribuição de líderes do setor
- Criado com a contribuição dos principais fornecedores de IA para aproveitar ao máximo o hardware acelerador de IA local de última geração.
- Sete prompts que simulam vários casos de uso reais, com consultas de geração aumentada de recuperação (RAG) e não RAG
- Projetado para executar cargas de trabalho constantes e repetíveis, minimizando as variáveis comuns da carga de trabalho de LLM de IA.
Resultados detalhados
- Obtenha relatórios detalhados sobre como os recursos do sistema estão sendo utilizados durante as cargas de trabalho de IA.
- Tamanho de instalação reduzido em comparação com testes com modelos de IA completos.
- Compare facilmente os resultados entre dispositivos para ajudar a identificar os melhores sistemas para seus casos de uso.
Teste de IA simplificado
- Teste de forma fácil e rápida utilizando quatro modelos de IA padrão de mercado com diversos tamanhos de parâmetros.
- Obtenha uma visão em tempo real das respostas geradas durante o benchmark
- Teste facilmente com um clique, com todos os mecanismos de inferência compatíveis, ou configure com base em suas preferências.
Desenvolvido com experiência no setor
Os benchmarks Procyon são projetados para uso industrial, empresarial e de imprensa com testes e recursos criados especificamente para usuários profissionais. O Benchmark de gerador de texto com IA da Procyon foi projetado e desenvolvido com parceiros da indústria por meio do UL Benchmark Development Program (BDP). O Benchmark Development Program é uma iniciativa da UL Solutions que visa criar benchmarks relevantes e imparciais, trabalhando em cooperação com os membros do programa.
Desempenho do mecanismo de inferência
Com o Benchmark de gerador de texto com IA da Procyon, você pode medir o desempenho de hardware de processamento de IA dedicado e verificar a qualidade da implementação do mecanismo de inferência com testes baseados em uma carga de trabalho pesada de geração de imagens de IA.
Projetado por profissionais
Criamos nossos Benchmarks de inferência de IA Procyon para equipes de engenharia que precisam de ferramentas independentes e padronizadas para avaliar o desempenho geral de IA de implementações de mecanismos de inferência e hardware dedicado.
Rápido e fácil de usar
O benchmark é fácil de instalar e executar, nenhuma configuração complicada é necessária. Execute o benchmark usando o aplicativo Procyon ou por linha de comando. Visualize pontuações e gráficos de benchmark ou exporte arquivos de resultados detalhados para análise posterior.
Avaliação gratuita
Solicite avaliação gratuitaLicença da unidade
Solicite uma cotação Licença de imprensa- Licença da unidade anual para o Benchmark de gerador de texto com IA da Procyon.
- Número ilimitado de usuários.
- Número ilimitado de dispositivos.
- Suporte prioritário por e-mail e telefone.
Programa de desenvolvimento de benchmark
Entre em contato conosco Saiba maisFale conosco
O Benchmark Development Program™ é uma iniciativa da UL Solutions para a construção de parcerias com empresas de tecnologia.
OEMs, ODMs, fabricantes de componentes e seus fornecedores estão convidados a se juntar a nós no desenvolvimento de novos benchmarks de processamento de IA. Entre em contato conosco para mais detalhes.
Requisitos do sistema
Todos os modelos ONNX
Armazenamento: 18,25 GB
Todos os modelos OpenVINO
Armazenamento: 15,45 GB
Phi-3.5-mini
ONNX com DirectML
- VRAM de 6 GB (GPU discreta)
- RAM de sistema 16 GB (iGPU)
- Armazenamento: 2,15 GB
Intel OpenVINO
- VRAM de 4 GB (GPU discreta)
- RAM de sistema 16 GB (iGPU)
- Armazenamento: 1,84 GB
Llama-3.1-8B
ONNX com DirectML
- VRAM de 8 GB (GPU discreta)
- RAM de sistema 32 GB (iGPU)
- Armazenamento: 5,37 GB
Intel OpenVINO
- VRAM de 8 GB (GPU discreta)
- RAM de sistema 32 GB (iGPU)
- Armazenamento: 3,88 GB
Mistral-7B
ONNX com DirectML
- VRAM de 8 GB (GPU discreta)
- RAM de sistema 32 GB (iGPU)
- Armazenamento: 3,69 GB
Intel OpenVINO
- VRAM de 8 GB (GPU discreta)
- RAM de sistema 32 GB (iGPU)
- Armazenamento: 3,48 GB
Llama-2-13B
ONNX com DirectML
- VRAM de 12 GB (GPU discreta)
- RAM de sistema 32 GB (iGPU)
- Armazenamento: 7,04 GB
Intel OpenVINO
- VRAM de 10 GB (GPU discreta)
- RAM de sistema 32 GB (iGPU)
- Armazenamento: 6,25 GB
Suporte
Latest 1.0.82.0 | 9 de dezembro de 2024
Idiomas
- Inglês
- Alemão
- Japonês
- Português (Brasil)
- Chinês simplificado
- Espanhol
