Практическое тестирование: сравниваем возможности 8-ми языковых моделей
В этой главе мы перейдем от теории к практике и проведем сравнительное тестирование восьми современных языковых моделей. Мы подготовили набор вопросов, начиная с простых и постепенно усложняя их, чтобы оценить, как каждая модель справляется с различными типами запросов. Мы также будем использовать продвинутые техники создания промптов, такие как цепочки рассуждений и другие, чтобы раскрыть весь потенциал каждой модели.
Модели-участники
В нашем тестировании примут участие следующие языковые модели:
Проприетарные (закрытые):
Исходный код и/или веса модели не раскрываются публично
GPT-4 (OpenAI)
Claude 3.6 Sonnet (Anthropic)
GigaChat (от Сбербанка)
YandexGPT 3 (от Яндекса)
Grok 2mini (X.com)
Gemini Advanced (Google)
Открытые (open-source):
Исходный код и веса модели находятся в открытом доступе
LLaMA 3.1 405B
Mistral Large 2
Этапы тестирования
Простые вопросы: начнем с базовых вопросов, чтобы оценить общие знания и способность моделей понимать естественный язык.
Вопросы с уточнениями: добавим в промпты просьбы задавать уточняющие вопросы, чтобы проверить, как модели справляются с неполной или неоднозначной информацией.
Цепочки рассуждений: используем цепочки промптов, чтобы оценить способность моделей к логическому мышлению и анализу сложных задач.
Творческие задания: предложим моделям выполнить творческие задания, чтобы оценить их воображение и способность генерировать оригинальный контент.
Продвинутые техники: применим другие продвинутые техники создания промптов, такие как использование ролей и настройка параметров, чтобы увидеть, как это влияет на качество ответов.
Критерии оценки
Базовые критерии оценки ответов моделей:
Точность: насколько ответ соответствует действительности и не содержит фактических ошибок.
Релевантность: насколько ответ отвечает на поставленный вопрос и не уходит в сторону от темы.
Информативность: насколько ответ полон и содержит полезную информацию.
Логичность: насколько ответ структурирован и аргументирован, особенно в вопросах, требующих рассуждений.
Креативность: насколько ответ оригинален и интересен, особенно в творческих заданиях.
Язык и стиль: насколько ответ грамотен, понятен и соответствует заданному стилю (если это указано в промпте).
Ожидаемые результаты
Мы ожидаем, что проприетарные модели, благодаря своим большим обучающим данным и постоянным улучшениям, покажут в целом более высокие результаты. Однако открытые модели также могут продемонстрировать впечатляющие возможности, особенно с учетом их открытости и гибкости.
Это тестирование