Esta ferramenta investiga modelos de inteligência artificial de ponta em busca de falhas na inteligência
Artigo: Esta ferramenta explora os modelos de IA de fronteira em busca de lapsos na inteligência
Executivos de empresas de inteligência artificial podem gostar de nos dizer que a AGI está quase aqui, mas os modelos mais recentes ainda precisam de um tutor adicional para ajudá-los a ser tão inteligentes quanto podem. A Scale AI, uma empresa que desempenhou um papel fundamental em ajudar empresas de IA de fronteira a construir modelos avançados, desenvolveu uma plataforma que pode testar automaticamente um modelo em milhares de benchmarks e tarefas, apontar fraquezas e sinalizar dados adicionais de treinamento que devem ajudar a aprimorar suas habilidades. Escala, é claro, fornecerá os dados necessários. A Scale ganhou destaque fornecendo mão de obra humana para treinar e testar modelos avançados de IA. Modelos de linguagem grandes (LLMs) são treinados em textos abundantes extraídos de livros, da web e de outras fontes. Transformar esses modelos em chatbots úteis, coerentes e bem-educados requer ‘pós-treinamento’ adicional na forma de humanos que fornecem feedback sobre a saída de um modelo. A Scale fornece trabalhadores especializados para sondar modelos em busca de problemas e limitações. A nova ferramenta, chamada Avaliação da Scale…
