A pesquisa mostrou que o desempenho de chatbots como o ChatGPT pode diminuir com o tempo devido à degradação da qualidade dos dados de treinamento.
· Os modelos de aprendizado de máquina são suscetíveis a envenenamento de dados e falhas de modelo, o que pode reduzir significativamente a qualidade de sua saída.
Uma fonte confiável de conteúdo é fundamental para evitar a degradação do desempenho do chatbot, criando desafios para futuros desenvolvedores de IA.
Os chatbots modernos estão em constante aprendizado e seu comportamento está sempre mudando, mas seu desempenho pode diminuir ou melhorar.
Pesquisas recentes derrubam a suposição de que “aprender sempre significa progresso”, o que tem implicações para o futuro do ChatGPT e seus pares. Para manter os chatbots funcionando, os desenvolvedores de inteligência artificial (IA) devem enfrentar os desafios emergentes de dados.
ChatGPT está ficando mais burro com o tempo
Um estudo publicado recentemente sugere que os chatbots podem ser menos capazes de realizar certas tarefas ao longo do tempo.
Para chegar a essa conclusão, os pesquisadores compararam a saída do modelo de linguagem grande (LLM) GPT-3.5 e GPT-4 em março e junho de 2023. Em apenas três meses, eles observaram mudanças dramáticas nos modelos que sustentam o ChatGPT.
Por exemplo, em março deste ano, o GPT-4 conseguiu identificar números primos com 97,6% de precisão. Em junho, sua precisão havia caído para 2,4%.
Respostas GPT-4 (esquerda) e GPT-3.5 (direita) para a mesma pergunta em março e junho (fonte: arXiv)
O experimento também avaliou a velocidade do modelo em responder a perguntas delicadas, sua capacidade de gerar código e sua capacidade de raciocinar visualmente. Em todas as habilidades testadas, a equipe observou que a qualidade da saída da IA se deteriorou com o tempo.
Desafios com dados de treinamento em tempo real
O aprendizado de máquina (ML) depende de um processo de treinamento pelo qual os modelos de IA podem imitar a inteligência humana processando grandes quantidades de informações.
Por exemplo, o desenvolvimento do LLM que alimenta os chatbots modernos se beneficiou da disponibilidade de um grande número de repositórios online. Isso inclui conjuntos de dados compilados de artigos da Wikipedia, permitindo que os chatbots aprendam digerindo o maior corpo de conhecimento humano já criado.
Mas agora, ferramentas como ChatGPT são amplamente divulgadas. Os desenvolvedores têm muito menos controle sobre seus dados de treinamento em constante mudança.
O problema é que tais modelos também podem "aprender" a dar respostas erradas. Se a qualidade dos dados de treinamento diminuir, sua saída também diminuirá. Isso representa um desafio para chatbots dinâmicos, que exigem um fluxo constante de conteúdo copiado da web.
O envenenamento de dados pode levar à degradação do desempenho do chatbot
Como os chatbots tendem a depender de conteúdo extraído da web, eles são particularmente vulneráveis a um tipo de manipulação conhecido como envenenamento de dados.
Foi exatamente o que aconteceu com o bot do Twitter da Microsoft, Tay, em 2016. Menos de 24 horas após seu lançamento, o antecessor do ChatGPT começou a postar tweets inflamatórios e ofensivos. Os desenvolvedores da Microsoft rapidamente pausaram e começaram de novo.
Acontece que os trolls cibernéticos enviam spam ao bot desde o início, manipulando sua capacidade de aprender com suas interações com o público. Depois de ser abusado pelo exército do 4channer, não é surpresa que Tay tenha começado a repetir seu discurso de ódio.
Como Tay, os chatbots contemporâneos são um produto de seu ambiente e são vulneráveis a ataques semelhantes. Até mesmo a Wikipedia, tão importante no desenvolvimento do LLM, poderia ser usada para envenenar dados de treinamento de aprendizado de máquina.
No entanto, dados intencionalmente corrompidos não são a única fonte de desinformação que os desenvolvedores de chatbots precisam ter cuidado.
**Acidente de modelo: bomba-relógio para chatbots? **
Com a crescente popularidade das ferramentas de IA, o conteúdo gerado por IA também está proliferando. Mas o que acontece com LL.M.s treinados em conjuntos de dados de web scraping se mais e mais conteúdo for criado por aprendizado de máquina?
Essa questão foi explorada em uma pesquisa recente sobre o impacto da recursão nos modelos de aprendizado de máquina. As respostas encontradas têm grandes implicações para o futuro da inteligência artificial generativa.
Os pesquisadores descobriram que, quando o material gerado pela IA foi usado como dados de treinamento, os modelos de aprendizado de máquina começaram a esquecer o que haviam aprendido anteriormente.
Eles cunharam o termo "colapso de modelo", observando que diferentes famílias de IA tendem a degenerar quando expostas a conteúdo criado por humanos.
Em um experimento, a equipe criou um ciclo de feedback entre um modelo de aprendizado de máquina gerador de imagens e sua saída.
Após observação, eles descobriram que após cada iteração, o modelo amplificava seus próprios erros e começava a esquecer os dados originalmente gerados por humanos. Após 20 loops, a saída é quase semelhante ao conjunto de dados original.
A saída de um modelo de ML de geração de imagem (fonte: arXiv)
Os pesquisadores observaram a mesma tendência de degradação ao realizar um cenário semelhante com LL.M. Além disso, a cada iteração, erros como frases repetidas e fala interrompida ocorrem com mais frequência.
Consequentemente, o estudo especula que as gerações futuras do ChatGPT podem estar em risco de colapso do modelo. Se a IA gerar cada vez mais conteúdo online, o desempenho dos chatbots e outros modelos generativos de aprendizado de máquina poderá se deteriorar.
Conteúdo confiável que você precisa para evitar a degradação do desempenho do chatbot
No futuro, fontes de conteúdo confiáveis se tornarão cada vez mais importantes para evitar os efeitos degradantes de dados de baixa qualidade. As empresas que controlam o acesso ao que é necessário para treinar modelos de aprendizado de máquina são a chave para mais inovações.
Afinal, não é por acaso que gigantes da tecnologia com milhões de usuários são grandes nomes da inteligência artificial.
Só na última semana, a Meta lançou a versão mais recente do LLM Llama 2, o Google lançou novos recursos para o Bard e houve relatos de que a Apple estava se preparando para entrar na briga.
Seja impulsionado por envenenamento de dados, sinais precoces de falha do modelo ou outros fatores, a ameaça de degradação do desempenho não pode ser ignorada pelos desenvolvedores do chatbot.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Degradação do desempenho do chatbot: desafios de dados ameaçam gerar o futuro da inteligência artificial
Este artigo resumidamente:
A pesquisa mostrou que o desempenho de chatbots como o ChatGPT pode diminuir com o tempo devido à degradação da qualidade dos dados de treinamento.
· Os modelos de aprendizado de máquina são suscetíveis a envenenamento de dados e falhas de modelo, o que pode reduzir significativamente a qualidade de sua saída.
Uma fonte confiável de conteúdo é fundamental para evitar a degradação do desempenho do chatbot, criando desafios para futuros desenvolvedores de IA.
Os chatbots modernos estão em constante aprendizado e seu comportamento está sempre mudando, mas seu desempenho pode diminuir ou melhorar.
Pesquisas recentes derrubam a suposição de que “aprender sempre significa progresso”, o que tem implicações para o futuro do ChatGPT e seus pares. Para manter os chatbots funcionando, os desenvolvedores de inteligência artificial (IA) devem enfrentar os desafios emergentes de dados.
ChatGPT está ficando mais burro com o tempo
Um estudo publicado recentemente sugere que os chatbots podem ser menos capazes de realizar certas tarefas ao longo do tempo.
Para chegar a essa conclusão, os pesquisadores compararam a saída do modelo de linguagem grande (LLM) GPT-3.5 e GPT-4 em março e junho de 2023. Em apenas três meses, eles observaram mudanças dramáticas nos modelos que sustentam o ChatGPT.
Por exemplo, em março deste ano, o GPT-4 conseguiu identificar números primos com 97,6% de precisão. Em junho, sua precisão havia caído para 2,4%.
Respostas GPT-4 (esquerda) e GPT-3.5 (direita) para a mesma pergunta em março e junho (fonte: arXiv)
O experimento também avaliou a velocidade do modelo em responder a perguntas delicadas, sua capacidade de gerar código e sua capacidade de raciocinar visualmente. Em todas as habilidades testadas, a equipe observou que a qualidade da saída da IA se deteriorou com o tempo.
Desafios com dados de treinamento em tempo real
O aprendizado de máquina (ML) depende de um processo de treinamento pelo qual os modelos de IA podem imitar a inteligência humana processando grandes quantidades de informações.
Por exemplo, o desenvolvimento do LLM que alimenta os chatbots modernos se beneficiou da disponibilidade de um grande número de repositórios online. Isso inclui conjuntos de dados compilados de artigos da Wikipedia, permitindo que os chatbots aprendam digerindo o maior corpo de conhecimento humano já criado.
Mas agora, ferramentas como ChatGPT são amplamente divulgadas. Os desenvolvedores têm muito menos controle sobre seus dados de treinamento em constante mudança.
O problema é que tais modelos também podem "aprender" a dar respostas erradas. Se a qualidade dos dados de treinamento diminuir, sua saída também diminuirá. Isso representa um desafio para chatbots dinâmicos, que exigem um fluxo constante de conteúdo copiado da web.
O envenenamento de dados pode levar à degradação do desempenho do chatbot
Como os chatbots tendem a depender de conteúdo extraído da web, eles são particularmente vulneráveis a um tipo de manipulação conhecido como envenenamento de dados.
Foi exatamente o que aconteceu com o bot do Twitter da Microsoft, Tay, em 2016. Menos de 24 horas após seu lançamento, o antecessor do ChatGPT começou a postar tweets inflamatórios e ofensivos. Os desenvolvedores da Microsoft rapidamente pausaram e começaram de novo.
Acontece que os trolls cibernéticos enviam spam ao bot desde o início, manipulando sua capacidade de aprender com suas interações com o público. Depois de ser abusado pelo exército do 4channer, não é surpresa que Tay tenha começado a repetir seu discurso de ódio.
Como Tay, os chatbots contemporâneos são um produto de seu ambiente e são vulneráveis a ataques semelhantes. Até mesmo a Wikipedia, tão importante no desenvolvimento do LLM, poderia ser usada para envenenar dados de treinamento de aprendizado de máquina.
No entanto, dados intencionalmente corrompidos não são a única fonte de desinformação que os desenvolvedores de chatbots precisam ter cuidado.
**Acidente de modelo: bomba-relógio para chatbots? **
Com a crescente popularidade das ferramentas de IA, o conteúdo gerado por IA também está proliferando. Mas o que acontece com LL.M.s treinados em conjuntos de dados de web scraping se mais e mais conteúdo for criado por aprendizado de máquina?
Essa questão foi explorada em uma pesquisa recente sobre o impacto da recursão nos modelos de aprendizado de máquina. As respostas encontradas têm grandes implicações para o futuro da inteligência artificial generativa.
Os pesquisadores descobriram que, quando o material gerado pela IA foi usado como dados de treinamento, os modelos de aprendizado de máquina começaram a esquecer o que haviam aprendido anteriormente.
Eles cunharam o termo "colapso de modelo", observando que diferentes famílias de IA tendem a degenerar quando expostas a conteúdo criado por humanos.
Em um experimento, a equipe criou um ciclo de feedback entre um modelo de aprendizado de máquina gerador de imagens e sua saída.
Após observação, eles descobriram que após cada iteração, o modelo amplificava seus próprios erros e começava a esquecer os dados originalmente gerados por humanos. Após 20 loops, a saída é quase semelhante ao conjunto de dados original.
A saída de um modelo de ML de geração de imagem (fonte: arXiv)
Os pesquisadores observaram a mesma tendência de degradação ao realizar um cenário semelhante com LL.M. Além disso, a cada iteração, erros como frases repetidas e fala interrompida ocorrem com mais frequência.
Consequentemente, o estudo especula que as gerações futuras do ChatGPT podem estar em risco de colapso do modelo. Se a IA gerar cada vez mais conteúdo online, o desempenho dos chatbots e outros modelos generativos de aprendizado de máquina poderá se deteriorar.
Conteúdo confiável que você precisa para evitar a degradação do desempenho do chatbot
No futuro, fontes de conteúdo confiáveis se tornarão cada vez mais importantes para evitar os efeitos degradantes de dados de baixa qualidade. As empresas que controlam o acesso ao que é necessário para treinar modelos de aprendizado de máquina são a chave para mais inovações.
Afinal, não é por acaso que gigantes da tecnologia com milhões de usuários são grandes nomes da inteligência artificial.
Só na última semana, a Meta lançou a versão mais recente do LLM Llama 2, o Google lançou novos recursos para o Bard e houve relatos de que a Apple estava se preparando para entrar na briga.
Seja impulsionado por envenenamento de dados, sinais precoces de falha do modelo ou outros fatores, a ameaça de degradação do desempenho não pode ser ignorada pelos desenvolvedores do chatbot.