Tsinghua KEG Lab a récemment coopéré avec Zhipu AI pour lancer conjointement une nouvelle génération de CogAgent de grand modèle de compréhension d’images. Basé sur le CogVLM lancé précédemment, le modèle utilise des modalités visuelles au lieu du texte pour fournir une perception plus complète et plus directe de l’interface graphique par le biais d’un agent visuel de l’interface graphique pour la planification et la prise de décision. Il est rapporté que CogAgent peut accepter une entrée d’image haute résolution 1120×1120, avec une réponse visuelle aux questions, un positionnement visuel (mise à la terre), un agent GUI et d’autres capacités, dans 9 listes de compréhension d’images classiques (y compris VQAv2, STVQA, DocVQA, TextVQA, MM-VET, POPE, etc.) a atteint le premier résultat en capacité générale.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Tsinghua KEG Lab et Zhipu AI ont lancé conjointement CogAgent, un modèle de compréhension d’images de grande taille
Tsinghua KEG Lab a récemment coopéré avec Zhipu AI pour lancer conjointement une nouvelle génération de CogAgent de grand modèle de compréhension d’images. Basé sur le CogVLM lancé précédemment, le modèle utilise des modalités visuelles au lieu du texte pour fournir une perception plus complète et plus directe de l’interface graphique par le biais d’un agent visuel de l’interface graphique pour la planification et la prise de décision. Il est rapporté que CogAgent peut accepter une entrée d’image haute résolution 1120×1120, avec une réponse visuelle aux questions, un positionnement visuel (mise à la terre), un agent GUI et d’autres capacités, dans 9 listes de compréhension d’images classiques (y compris VQAv2, STVQA, DocVQA, TextVQA, MM-VET, POPE, etc.) a atteint le premier résultat en capacité générale.