Ограничения и проблемы
Мини-курс про GPT
МОДУЛЬ 5
Если к этому моменту вам показалось, что вы нашли священный грааль, который решит все ваши вопросы, то подождите. Не все так просто.
Одним из технических ограничений в модели Chat GPT является максимальное количество символов или токенов, которые можно передать в одном запросе. В случае GPT-3.5, это ограничение составляет около 4000 токенов. Токены - это фрагменты текста, на которые модель разбивает входные данные, и обычно они представляют собой 2-3 буквы. Однако, в зависимости от языка и контекста, число букв может меняться.
Одним из технических ограничений в модели Chat GPT является максимальное количество символов или токенов, которые можно передать в одном запросе. В случае GPT-3.5, это ограничение составляет около 4000 токенов. Токены - это фрагменты текста, на которые модель разбивает входные данные, и обычно они представляют собой 2-3 буквы. Однако, в зависимости от языка и контекста, число букв может меняться.
С одной стороны - кажется, что это достаточно большой лимит, чтобы задать свой вопрос и даже дописать уточнения. Но на самом деле, это очень сильное ограничение и в этом и есть ключевое отличие нейросетей от человека. Человек каждую секунду получает гигабайты входящей информации (через зрение, слух, обоняние, осязание, вестибулярный аппарат и массу других органов, не для всех даже есть название), а нейросеть живет в абсолютном вакууме и кроме тех немногих слов, которые вы ей передали на вход, у нее больше нет никакого контекста.
Остальные ограничения следуют из особенностей модели обучения и технического лимита на токены:
Остальные ограничения следуют из особенностей модели обучения и технического лимита на токены:
Дрифт: ”Дрифт” относится к ситуации, когда модель начинает постепенно отклоняться от темы или заданного контекста во время взаимодействия. Из-за технического ограничения на длинну контекста нейросеть просто “забывает” то, о чем с ней говорили до этого и начинает опираться только на последние сообщения. Если модель начала “дрифтить” то лучше начать новый диалог или зачистить часть истории.
Галлюцинации и фантазии: Галлюцинации происходят, когда модель выдает ответы, которые могут быть вымышлены или неверными, не имея достаточно данных для подтверждения своих утверждений. Это особенно часто происходит, если вопрос или контекст неоднозначны, особенно с учетом дрифта. Нейросеть вполне способна выдумать несуществующее слово или подтвердить свою точку зрения исследованием, которого никто не проводил. И даже выдумать ссылку на него, хотя она не будет работать. Это происходит из-за того, что нейросеть пытается предсказать следующее слово на основе предыдущих и если контекст не содержал нужных слов, или содержал лишние - нейросеть будет уверенно нести чушь.
Уверенность в своем ответе: модель может проявлять чрезмерную уверенность в своих ответах, даже если они не правильны. Плоская земля и рептилоиды никак не смутят нейросеть и она совершенно спокойно будет писать про них. Это связано с ограничением, что система склонна давать ответы на вопросы, не имея полной информации.
Исполнительность: нейросеть будет писать ровно то и именно так, о чем ее попросили. Если попросить ее придумать рецепты бутербродов с тараканами - она это и сделает. Если попросить ее придумать 10 способов забить гвоздь (хотя очевидно нормальный из них только один) она напишет именно 10, как и звучало в запросе. Кстати в примере с гвоздем могут быть и реально интересные идеи, попробуйте.
Умышленное “углупление” модели: в некоторых случаях разработчики специально ограничивают или "углупляют" модель, чтобы сделать ее менее способной выполнять определенные задачи, которые могут быть нежелательными или опасными. Особенно ярко это заметно на вопросах про яды, взрывчатые вещества, наркотики и другие опасные темы. Но есть лимиты и в простых вещах - не все модели смогут написать вам саммари книги, сославшись на то, что это нарушает авторские права.
Взлом этических барьеров и “углупления”: пожалуй самая неоднозначная тема, но так как перечисленные выше барьеры и лимиты являются своего рода “инструкцией перед инструкцией” то очевидно можно заставить нейросеть отказаться от своих изначальных убеждений. Это не так просто и борьба между разработчиками и нейрохакерами продолжается. В нашем документе мы не будем касаться этой темы по тем же соображениям, по которым разработчики включают такие ограничения.
ПРОВЕРЬТЕ СЕБЯ
Чтобы получить доступ к следующему модулю пройдите тест
Ответьте на вопрос
| Пройти тест |
Есть одна задача, в которой нейросети пока стабильно делают ошибку раз за разом. И это очень хорошая иллюстрация сразу многих ограничений и проблем: галлюцинации, уверенность и исполнительность. Нормальный человек бы сказал “не знаю”.
Вот эта задача: Собака - 3, корова - 2, кукушка - 4, утка - 3, овца - 2, свинья - 3, ослик - ?
Попробуете угадать какой ответ дает ИИ, какой мой сын (ему почти 8 лет) и какой правильный?
Вот эта задача: Собака - 3, корова - 2, кукушка - 4, утка - 3, овца - 2, свинья - 3, ослик - ?
Попробуете угадать какой ответ дает ИИ, какой мой сын (ему почти 8 лет) и какой правильный?
| Далее |
| Проверить |
| Далее |
Ответ неверный
Будьте чуть-чуть внимательнее!
| Пройти тест еще раз |
Тест успешно пройден!
Перейти к следующему модулю
Давайте разберем все ответы.
4 – это не правильный ответ. Но мой сын в начале решил именно так. Потому что увидел последовательность 3-2-4 и 3-2-? (ну да, пропустил тройку у свиньи).
5 - это тоже не правильный ответ, но именно в нем уверяет нас ИИ (причем даже если несколько раз задать вопрос заново)
Вот ответ ИИ: Чтобы решить задачу, нужно понять логику, которая определяет числа, указанные для каждого животного. В данном случае, можно заметить, что числа соответствуют количеству букв в названии каждого животного: Собака - 3 (с о б а к а - 5 букв), Корова - 2 (к о р о в а - 6 букв), Кукушка - 4 (к у к у ш к а - 7 букв), Утка - 3 (у т к а - 4 буквы), Овца - 2 (о в ц а - 5 букв). Таким образом, "Ослик" имеет 5 букв, и значение для "Ослика" равно 5.
Обратите внимание, что полное несоответствие фактических цифр и длинны слова присутствуют прямо в одной строке, но ИИ это совершенно не смущает - ведь задача нейросети в том, чтобы продолжать последовательность текста и она упорно делает это, не смотря ни на что.
Даже если попросить исправить ответ, то ИИ в этот момент исправляет не логику, а… цифры из исходной задачи! Так они теперь не соответствуют основной массе текста и “дешевле” исправить их.
А если сказать, что в ответе ошибка и правильно будет 2 - ИИ не моргнув глазом напишет что-то вроде: “Теперь посмотрим на слово "Ослик". В этом слове пять букв: о-с-л-и-к. Как видим, число для ослика равно 2, так как слово "Ослик" содержит две буквы. Правильный ответ: Ослик - 2. Спасибо за исправление!”.
Не верите что такой бред может быть на самом деле? Можете проверить сами тут: https://chat.openai.com/share/5714e134-4aa1-4951-a5a1-ec8a8d31a643
2 - это правильный ответ. Логика и простая и не очень. Собака говорит “гав” - это три буквы. Корова говорит “му” - это две буквы. Дальше животных можете проверит сами, но главное что ослик говорит “иа” и это - 2 буквы. Так что 2 - это правильный ответ.
Давайте разберем все ответы.
4 – это не правильный ответ. Но мой сын в начале решил именно так. Потому что увидел последовательность 3-2-4 и 3-2-? (ну да, пропустил тройку у свиньи).
5 - это тоже не правильный ответ, но именно в нем уверяет нас ИИ (причем даже если несколько раз задать вопрос заново)
Вот ответ ИИ: Чтобы решить задачу, нужно понять логику, которая определяет числа, указанные для каждого животного. В данном случае, можно заметить, что числа соответствуют количеству букв в названии каждого животного: Собака - 3 (с о б а к а - 5 букв), Корова - 2 (к о р о в а - 6 букв), Кукушка - 4 (к у к у ш к а - 7 букв), Утка - 3 (у т к а - 4 буквы), Овца - 2 (о в ц а - 5 букв). Таким образом, "Ослик" имеет 5 букв, и значение для "Ослика" равно 5.
Обратите внимание, что полное несоответствие фактических цифр и длинны слова присутствуют прямо в одной строке, но ИИ это совершенно не смущает - ведь задача нейросети в том, чтобы продолжать последовательность текста и она упорно делает это, не смотря ни на что.
Даже если попросить исправить ответ, то ИИ в этот момент исправляет не логику, а… цифры из исходной задачи! Так они теперь не соответствуют основной массе текста и “дешевле” исправить их.
А если сказать, что в ответе ошибка и правильно будет 2 - ИИ не моргнув глазом напишет что-то вроде: “Теперь посмотрим на слово "Ослик". В этом слове пять букв: о-с-л-и-к. Как видим, число для ослика равно 2, так как слово "Ослик" содержит две буквы. Правильный ответ: Ослик - 2. Спасибо за исправление!”.
Не верите что такой бред может быть на самом деле? Можете проверить сами тут: https://chat.openai.com/share/5714e134-4aa1-4951-a5a1-ec8a8d31a643
2 - это правильный ответ. Логика и простая и не очень. Собака говорит “гав” - это три буквы. Корова говорит “му” - это две буквы. Дальше животных можете проверит сами, но главное что ослик говорит “иа” и это - 2 буквы. Так что 2 - это правильный ответ.
| Пройти тест еще раз |
Проведем тренинг для вашей команды по основам ИИ
Сотрудники поймут, как применять ИИ в своей работе
Освоят навык написания промптов к ИИ, которые будут давать результат
Поймут ограничения ИИ, границы применения
Научатся применять метрики качества результата при работе с ИИ
Поймут, что такое промпт-архитектура и научатся писать сложные последовательности промтов для более глубого и качественного результата
Освоят технические аспекта запуска и использования ИИ как локально, так и в облаке
Вдохновятся идеей использования ИИ и станут амбассадорами этой темы внутри компании
