Первый «вау-эффект» от больших языковых моделей (GPT, Claude, Gemini) проходит, и становится всё очевиднее, что они застряли в ловушке посредственности. Каковы причины этого и как с этим справиться?
Причины заурядности
В теории машинного обучения известна «теорема об отсутствии бесплатных обедов» (No free lunch theorem), которая гласит, что не существует «единой лучшей модели» для всех возможных задач.
Хотя при обучении современных языковых моделей использовались примеры «хороших ответов», составленные специалистами, эти примеры охватывали множество разных областей без приоритета какой-то одной. Поэтому модель натренирована давать в среднем лучший ответ по всем темам, а не лучший ответ в конкретной специфической области.
Искусственный интеллект, обученный таким образом, становится жертвой самого себя: если ты пытаешься «нравиться всем и всегда», ты почти по определению обречен на посредственность.
Универсальная модель должна быть очень «усредненной» и в своей речи, всегда моральной, инклюзивной и не отклоняющейся от нормы. Но так как всё новое и интересное обычно происходит на стыке и окраинах знаний, языковой модели сложно об этом рассуждать.
Как помочь языковым моделям выйти за рамки заурядных результатов
Чтобы добиться от языковой модели результатов высокого качества, есть два основных пути: А. обучение на примерах и Б. создание спецрешения.
Обучение языковой модели на примерах
При обучении языковых моделей им показывают примеры вопросов и правильных ответов, и с помощью математики заставляют ИИ имитировать этот шаблон.
Если вы хотите добиться от ИИ высокого уровня, нужно делать то же самое, давать примеры идеальных ответов и просить модель им подражать. Как это сделать?
Первый шаг, собрать вопросы и идеальные ответы. Здесь действует принцип: чем больше примеров, тем лучше, но помните, что 10 отличных примеров лучше, чем 20 посредственных.
Проще всего дать примеры вопросов и ответов в виде инструкции, которой будет пользоваться модель. Технически это называется «обучением в процессе вывода» (inference time learning), с помощью которого мы направляем модель на активацию определенной части её логических способностей.
Качественное выполнение этого метода требует некоторого обучения и знания инструментов, но это вполне достижимо с помощью детального курса.
Если же вы можете собрать 50 и более примеров, стоит создать собственную «тонко настроенную» модель. При тонкой настройке обучается спецверсия ИИ, которая старается автоматически составлять ответы так же, как в ваших примерах. Для этого изучите возможности вашей ИИ-платформы или обратитесь за помощью к партнеру по разработке.
Создание спецрешений
Если вы хотите полностью автоматизировать рабочую задачу или если задача слишком сложная/объемная для существующих инструментов, необходимо создать индивидуальное решение.
На примере наших клиентов мы видели потребность в спецрешениях, когда модель должна уметь читать всю базу документов компании и давать ответы на их основе, или когда нужно полностью автоматизировать рабочий процесс (например, извлечение информации из электронных писем).
У спецрешений есть три главных преимущества перед готовыми инструментами:
- Качество можно довести до очень высокого уровня,
- Для них можно создать автоматические тесты,
- Их можно интегрировать с различными ИТ-системами (ИИ считывает данные из одной системы и автоматически записывает результат в другую).
Резюме
В итоге, из-за методики обучения современные языковые модели являются «машинами посредственности» и могут разочаровать профессионального пользователя. Но эту проблему можно решить, обучая ИИ на примерах отвечать нужным нам образом или разрабатывая спецрешение, созданное под конкретный случай использования.
