Перейти к содержанию

LaMDA

Материал из энциклопедии Руниверсалис

LaMDA, что расшифровывается как Language Model for Dialogue Applications, представляет собой семейство разговорных нейронных языковых моделей, разработанных Google. Первое поколение было анонсировано во время презентации Google I/O 2021 года, а второе поколение было анонсировано на мероприятии следующего года. В июне 2022 года LaMDA привлекла всеобщее внимание, когда инженер Google Блейк Лемуан заявил, что чат-бот стал разумным. Научное сообщество в значительной степени отвергло утверждения Лемуана, хотя это привело к разговорам об эффективности Теста Тьюринга, который измеряет, может ли компьютер сойти за человека.

Метод

LaMDA использует языковую модель преобразования только для декодера[1]. Он предварительно обучается на текстовом корпусе, который включает в себя как документы, так и диалоги, состоящие из 1,56 триллиона слов[1], а затем обучается с помощью данных тонкой настройки, сгенерированных вручную аннотированными ответами для обеспечения понятности, интересности и безопасности. Тесты, проведенные Google, показали, что LaMDA превзошла человеческие ответы в области интересности. Трансформаторная модель LaMDA и внешняя система поиска информации взаимодействуют для повышения точности фактов, предоставляемых пользователю.

Примечания