A empresa de dados financeiros americana Bloomberg e pesquisadores da Universidade Johns Hopkins anunciaram a proposta de um modelo de linguagem natural (LLM) de grande escala com 500 bilhões de parâmetros, que foi treinado em uma ampla gama de dados financeiros. O artigo “BloombergGPT: A Large Language Model for Finance” apresentado pelos pesquisadores da Bloomberg e da Universidade Johns Hopkins propõe um modelo de linguagem natural (LLM) de grande escala com 500 bilhões de parâmetros, que foi treinado em uma ampla gama de dados financeiros.

Com esse modelo, é possível realizar uma ampla variedade de usos especializados, como obter facilmente informações de dados financeiros ou perguntar sobre informações financeiras, como “Qual é o preço e o valor de mercado atual da Apple?”.

Os analistas de dados da Bloomberg, uma empresa de dados financeiros, têm coletado e gerenciado documentos financeiros há mais de 40 anos. A equipe criou um conjunto de dados de 36,3 bilhões de tokens, composto por documentos financeiros em inglês do arquivo de dados financeiros extenso da Bloomberg.

Eles adicionaram um conjunto de dados públicos gerais de 34,5 bilhões de tokens a esses dados e criaram um corpus de treinamento de grande escala com mais de 700 bilhões de tokens. Eles treinaram um modelo de linguagem natural usando apenas o decodificador com 500 bilhões de parâmetros, utilizando uma parte deste corpus de treinamento.

O BloombergGPT adota uma abordagem mista que combina dados financeiros e conjuntos de dados gerais em vez de construir LLMs especializados em um domínio específico ou apenas em dados gerais.

O modelo resultante foi validado em uma ampla variedade de tarefas de processamento de linguagem natural (NLP), incluindo benchmarks NLP especializados em finanças, benchmarks internos da Bloomberg e benchmarks gerais em várias categorias de tarefas de NLP.

Como resultado, a abordagem de aprendizado misto alcançou modelos que superaram significativamente os modelos existentes em tarefas financeiras de domínio específico, mantendo ou superando modelos existentes em benchmarks NLP gerais.

O BloombergGPT pode fornecer melhores serviços aos clientes da Bloomberg, como fornecer informações detalhadas para analisar notícias e informações financeiras. Eles continuarão a desenvolver aplicativos financeiros usando o BloombergGPT e explorar ainda mais as vantagens do modelo.