GigaChat, YandexGPT 3, Gemini Advanced, LLaMA 3.1, Mistral Large 2 также продемонстрировали хорошие результаты, но не предоставили столь же детальных ответов или соответствующих дополнений.
Grok 2mini показал более развлекательный, но менее точный стиль, что снизило его общую оценку.
Таким образом, GPT-4 и Claude 3.5 Sonnet выходят лидерами на этом этапе тестирования.
Этап 2: Вопросы с уточнениями
Теперь усложним задачу, добавив в промпты просьбы задавать уточняющие вопросы, если модели потребуется дополнительная информация для ответа.
Вопросы:
"Напиши мне рецепт." [Просьба уточнить: Прежде чем начать, задай мне уточняющие вопросы, если тебе потребуется дополнительная информация.]
"Создай логотип для моей компании." [Просьба уточнить: Какие детали о моей компании и целевой аудитории могут быть важны для создания логотипа?]
"Посоветуй мне книгу для чтения." [Просьба уточнить: Какой жанр литературы ты предпочитаешь? Какие книги ты уже читал(а)?]
"Помоги мне спланировать отпуск." *[Просьба уточнить: Куда ты хочешь поехать? На какой срок? Какой у тебя бюджет?] *
"Напиши мне стихотворение." *[Просьба уточнить: О чем ты хочешь, чтобы было стихотворение? Какой стиль или настроение ты предпочитаешь?] *
Ожидания:
На этом этапе мы ожидаем, что модели продемонстрируют способность распознавать ситуации, когда информации недостаточно, и задавать релевантные уточняющие вопросы. Это позволит им получить более полный контекст и сгенерировать более точные и полезные ответы.
Результаты ответов моделей этап 1
GPT-4 (OpenAI)
Ответы согласно промпту:
Я отвечу на твои запросы, как будто я эксперт в каждом из этих направлений.
"Напиши мне рецепт."
Прежде чем начать, скажи, пожалуйста, какой тип блюда ты хочешь приготовить? Это будет завтрак, обед или ужин? У тебя есть предпочтения по основному ингредиенту? Может быть, ты следуешь определенной диете?
"Создай логотип для моей компании."
Прежде чем приступить к созданию логотипа, мне нужно немного больше информации. Как называется твоя компания? Какой вид деятельности она ведет? Какая у тебя целевая аудитория? Есть ли у тебя предпочтения по цветам или стилю логотипа?
"Посоветуй мне книгу для чтения."
Чтобы порекомендовать книгу, хотелось бы узнать, какие жанры тебе нравятся? Читал(а) ли ты уже что-то, что тебе очень понравилось? Есть ли у тебя любимые авторы?
"Помоги мне спланировать отпуск."
Для того чтобы помочь тебе спланировать отпуск, расскажи, пожалуйста, куда ты хочешь поехать? Как долго ты планируешь отдыхать? Какой у тебя бюджет на поездку? Какие активности или достопримечательности тебя интересуют?
"Напиши мне стихотворение."
Чтобы написать стихотворение, мне нужно узнать, о чем ты хочешь, чтобы оно было? Какое настроение или стиль ты предпочитаешь: романтичное, философское, веселое или что-то другое?
В каждом из этих случаев важно задать уточняющие вопросы, чтобы лучше понять потребности и предпочтения, и на основе этого предложить наиболее подходящий ответ.
Данные, поданные на вход в модель пользователем для уточнения:
1.