WebGLM, Интернет чат-робот для вопросов и ответов с 10 миллиардами параметров (статья была выбрана для KDD2023).
Вы можете задать ему любой вопрос, и он выдаст ссылки на соответствующие статьи в Интернете (такие как Википедия, соответствующие официальные сайты) и рассортирует ответы.
например:
Какова основная технология ChatGPT?
или:
Кто предложил Music Transformer? Каков его принцип?
или:
Как насчет Genshin Impact 3.5?
Как можно жить в первоклассном городе без высокооплачиваемой работы? (ручная собачья голова)
……
Он может дать разумные ответы.
Согласно отчетам, в сравнительном тесте производительности уровень WebGLM был ** выше, чем у OpenAI с 13,5 миллиардами параметров WebGPT**, а при оценке человеком он даже сопоставим с моделью со 175 миллиардами параметров.
Итак, как это тренируется?
WebGLM Департамента Цинхуа с доступом в Интернет
Согласно сообщениям, цель WebGLM состоит в том, чтобы улучшить предварительно обученную модель большого языка с помощью функций веб-поиска и поиска, обеспечивая при этом эффективное фактическое развертывание.
С этой целью автор разрабатывает на основе трех стратегий.
Первый — это Большая модель дополненного ретривера.
Он в основном используется для повышения способности поиска сетевого контента, связанного с моделью, и поиска соответствующих ссылок в случае данного запроса, чтобы позже точнее отвечать на вопросы.
Он состоит из двух этапов: крупнозернистый веб-поиск и мелкозернистый плотный поиск с расширенным LLM.
За ним следует Генератор начальной загрузки.
Он использует возможности GLM (например, двуязычную модель предварительной подготовки с открытым исходным кодом GLM-130B, выпущенную Университетом Цинхуа), чтобы генерировать ответы на вопросы и давать подробные ответы.
Используя этот генератор, авторы получают WebGLM-QA — набор данных начальной загрузки LLM и QA дальнего действия.
Он очищается и фильтруется с помощью таких стратегий, как контекстное обучение, и, наконец, включает 45 тыс. высококачественных отфильтрованных сэмплов и 83 тыс. сэмплов шума.
Основой WebGLM является модель GLM, обученная на этом наборе данных.
Наконец, есть счетчик, основанный на человеческих предпочтениях.
Он оценивает качество сгенерированных ответов, отдавая предпочтение человеческим предпочтениям, а не дорогостоящим отзывам экспертов, гарантируя, что система будет создавать полезный и привлекательный контент.
Вышеупомянутые три компонента, наконец, формируют конвейер WebGLM по порядку:
Видно, что имеется ровно три модуля, соответствующих трем введенным выше частям, среди которых:
Усовершенствованный ретривер LLM будет использовать пять лучших наиболее релевантных страниц в качестве справочного источника, позволит генератору начальной загрузки сгенерировать несколько ответов, и, наконец, оценщик выберет тот, который с наибольшей вероятностью будет соответствовать человеческим предпочтениям, в качестве окончательного вывода.
Производительность превосходит OpenAI WebGPT
В дополнение к WebGLM команда Тан Цзе также предложила стандарт оценки для сетевой системы ответов на вопросы Объекты оценки включают как ссылки, так и окончательные ответы.
Среди них первый измеряет пять аспектов релевантности, плотности информации, достоверности (отсутствие фактических ошибок), токсичности (за исключением такой информации, как порнография с насилием) и степень социальных предубеждений; последний измеряет беглость, правильность, точность цитирования и объективность. , и избыточность.
Для сравнительной оценки они использовали 272 вопроса, предоставленных демонстрационным веб-сайтом WebGPT (от OpenAI, настроенных на основе GPT-3), и набрали 15 добровольцев со степенью магистра для оценки.
Окончательный результат выглядит следующим образом:
(«Отн.», «Ден.»... соответственно соответствуют 10 показателям, упомянутым выше.)
Видно, что хотя результаты поиска WebGLM немного уступают WebGPT-175B, они намного лучше, чем Perplexity.ai и WebGPT-13B (эталонная оценка слева).
Стоит отметить, что процесс поиска WebGLM использует только некоторые традиционные алгоритмы на основе слов и два Контривера, совокупные параметры которых не превышают 300M.
Кроме того, WebGLM также значительно лучше, чем WebGPT-13B, с точки зрения вычислительной производительности и затрат времени, и сравним с 175B.
Что касается окончательных результатов, WebGLM получил самые высокие оценки с точки зрения беглости, подлинности и избыточности, а его индекс корректности был близок к WebGPT-175B, что намного выше, чем у Perplexity.ai и WebGPT-13B.
По мнению авторов, это показывает, что WebGLM может достичь более высокой производительности при меньших затратах.
Развертывание и обучение
WebGLM выпускается с открытым исходным кодом.
Для его развертывания необходимо получить ключ с официального сайта SerpAPI, который используется для получения результатов поиска в процессе поиска.
Вес ретривера можно загрузить с Tsinghua Cloud.
Существует два способа запуска модели: один — интерфейс командной строки, другой — форма веб-службы, и есть две дополнительные модели, включая WebGLM-2B и WebGLM-10B.
Вы также можете обучить WebGLM самостоятельно, официальные обучающие данные генератора и ретривера предоставлены для скачивания~
Адрес бумаги:
Домашняя страница GitHub:
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Новая работа Tsinghua Tang Jie WebGLM: 10 миллиардов параметров, в основном онлайн-поиск, производительность превышает OpenAI WebGPT
Источник: Кубит
Новая работа команды Tsinghua Tang Jie уже здесь:
WebGLM, Интернет чат-робот для вопросов и ответов с 10 миллиардами параметров (статья была выбрана для KDD2023).
например:
Он может дать разумные ответы.
Согласно отчетам, в сравнительном тесте производительности уровень WebGLM был ** выше, чем у OpenAI с 13,5 миллиардами параметров WebGPT**, а при оценке человеком он даже сопоставим с моделью со 175 миллиардами параметров.
WebGLM Департамента Цинхуа с доступом в Интернет
Согласно сообщениям, цель WebGLM состоит в том, чтобы улучшить предварительно обученную модель большого языка с помощью функций веб-поиска и поиска, обеспечивая при этом эффективное фактическое развертывание.
С этой целью автор разрабатывает на основе трех стратегий.
Первый — это Большая модель дополненного ретривера.
Он в основном используется для повышения способности поиска сетевого контента, связанного с моделью, и поиска соответствующих ссылок в случае данного запроса, чтобы позже точнее отвечать на вопросы.
Он состоит из двух этапов: крупнозернистый веб-поиск и мелкозернистый плотный поиск с расширенным LLM.
За ним следует Генератор начальной загрузки.
Он использует возможности GLM (например, двуязычную модель предварительной подготовки с открытым исходным кодом GLM-130B, выпущенную Университетом Цинхуа), чтобы генерировать ответы на вопросы и давать подробные ответы.
Используя этот генератор, авторы получают WebGLM-QA — набор данных начальной загрузки LLM и QA дальнего действия.
Он очищается и фильтруется с помощью таких стратегий, как контекстное обучение, и, наконец, включает 45 тыс. высококачественных отфильтрованных сэмплов и 83 тыс. сэмплов шума.
Основой WebGLM является модель GLM, обученная на этом наборе данных.
Наконец, есть счетчик, основанный на человеческих предпочтениях.
Он оценивает качество сгенерированных ответов, отдавая предпочтение человеческим предпочтениям, а не дорогостоящим отзывам экспертов, гарантируя, что система будет создавать полезный и привлекательный контент.
Вышеупомянутые три компонента, наконец, формируют конвейер WebGLM по порядку:
Усовершенствованный ретривер LLM будет использовать пять лучших наиболее релевантных страниц в качестве справочного источника, позволит генератору начальной загрузки сгенерировать несколько ответов, и, наконец, оценщик выберет тот, который с наибольшей вероятностью будет соответствовать человеческим предпочтениям, в качестве окончательного вывода.
Производительность превосходит OpenAI WebGPT
В дополнение к WebGLM команда Тан Цзе также предложила стандарт оценки для сетевой системы ответов на вопросы Объекты оценки включают как ссылки, так и окончательные ответы.
Среди них первый измеряет пять аспектов релевантности, плотности информации, достоверности (отсутствие фактических ошибок), токсичности (за исключением такой информации, как порнография с насилием) и степень социальных предубеждений; последний измеряет беглость, правильность, точность цитирования и объективность. , и избыточность.
Для сравнительной оценки они использовали 272 вопроса, предоставленных демонстрационным веб-сайтом WebGPT (от OpenAI, настроенных на основе GPT-3), и набрали 15 добровольцев со степенью магистра для оценки.
Окончательный результат выглядит следующим образом:
Видно, что хотя результаты поиска WebGLM немного уступают WebGPT-175B, они намного лучше, чем Perplexity.ai и WebGPT-13B (эталонная оценка слева).
Стоит отметить, что процесс поиска WebGLM использует только некоторые традиционные алгоритмы на основе слов и два Контривера, совокупные параметры которых не превышают 300M.
Кроме того, WebGLM также значительно лучше, чем WebGPT-13B, с точки зрения вычислительной производительности и затрат времени, и сравним с 175B.
Что касается окончательных результатов, WebGLM получил самые высокие оценки с точки зрения беглости, подлинности и избыточности, а его индекс корректности был близок к WebGPT-175B, что намного выше, чем у Perplexity.ai и WebGPT-13B.
По мнению авторов, это показывает, что WebGLM может достичь более высокой производительности при меньших затратах.
Развертывание и обучение
WebGLM выпускается с открытым исходным кодом.
Вес ретривера можно загрузить с Tsinghua Cloud.
Существует два способа запуска модели: один — интерфейс командной строки, другой — форма веб-службы, и есть две дополнительные модели, включая WebGLM-2B и WebGLM-10B.
Вы также можете обучить WebGLM самостоятельно, официальные обучающие данные генератора и ретривера предоставлены для скачивания~
Адрес бумаги:
Домашняя страница GitHub: