Представьте, что вы наняли нового административного помощника, который свободно говорит на более чем 20 языках, имеет больше ученых степеней, чем вы можете сосчитать, и, кажется, прочитал все. Они также готовы работать за зарплату, которую вы легко можете себе позволить. Единственная проблема? Они совершенно ненадежны до четверти времени.
Добро пожаловать в текущее состояние искусственный интеллект (ИИ). Несмотря на то, что современные инструменты ИИ являются сложными технологиями и мощными драйверами роста бизнеса, они регулярно ошибаются. Стартап по анализу данных обнаружил ИИ chatbots выдумывать факты от 3% до 27% времени, с этими осечками, называемыми «галлюцинациями».
Вот более подробная информация о том, что такое галлюцинации, связанные с искусственным интеллектом, и почему они возникают, а также пять советов, которые помогут вам их предотвратить.
Что такое галлюцинации ИИ?
Галлюцинация ИИ возникает, когда генеративный инструмент ИИ предоставляет сфабрикованную, нерелевантную, ложную или вводящую в заблуждение информацию в ответ на запрос пользователя.
Галлюцинации ИИ могут принимать различные формы:
- Фактические ошибки. Этот тип галлюцинаций возникает, когда контент, сгенерированный ИИ, содержит неверную информацию, включая ложные утверждения и вводящие в заблуждение результаты.
- Измышления. Ошибки фабрикации происходят, когда модель ИИ генерирует контент на основе шаблонов, которые не существуют в исходных материалах модели. Эти ошибки фактически вводят новые данные и представляют их как факт.
- Неактуальность. Инструменты ИИ могут предоставлять пользователям фактически правильную информацию, которая присутствует в исходных данных инструмента, но не соответствует подсказке пользователя. Этот тип ошибки — ошибка релевантности.
Некоторые эксперты по ИИ утверждают, что фактические ошибки и проблемы релевантности не являются настоящими галлюцинациями ИИ, ссылаясь на психологическое определение галлюцинации как опыта чего-то несуществующего. Эти эксперты классифицируют фальсификации как галлюцинации, а другие ошибки как ошибки, указывая на то, что только фальсификации вводят новые данные на основе несуществующих шаблонов. Однако другие эксперты классифицируют все три типа ошибок как галлюцинации, поскольку все они являются результатом логических ошибок модели ИИ и представляют значительные проблемы для принятия ИИ.
3 компонента систем ИИ
Чтобы понять, что вызывает галлюцинации ИИ, сначала разберемся, как работают три различные системы ИИ:
1. Модели машинного обучения
Инструменты ИИ работают на моделях машинного обучения. Эти программы могут находить и выражать закономерности или принимать решения или прогнозы, используя наборы данных, которые они никогда раньше не обрабатывали. Например, вы можете обучить обучение с помощью машины модель для различения фотографий, на которых есть люди, и фотографий, на которых нет людей.
Сначала вы проводите обучение модели: подаете программе изображения, которые вы уже пометили как содержащие людей или не содержащие людей. В конце концов, вы предоставляете ей немаркированный набор изображений, и программа сортирует изображения по двум категориям самостоятельно, используя правила и структуры данных, которые она разработала во время обучения модели.
2. Большие языковые модели
Инструменты ИИ, которые генерируют текст, работают на основе большой языковой модели (LLM). LLM выражают шаблоны в текстовом наборе обучающих данных.
Чтобы построить LLM, разработчики создают алгоритм глубокого обучения и передают ему большой объем исходного текста. Алгоритм выявляет закономерности в исходных данных и записывает правила, которые позволяют ему воспроизводить эти закономерности. Этот набор сохраненных правил становится LLM.
Приложения LLM включают программы для создания конспектов очень длинных текстов или записи ключевых тем во время встреч, а также чат-боты службы поддержки клиентов.
3. Генеративные модели
Генеративный ИИ относится к инструментам ИИ, которые могут генерировать контент. Эти инструменты работают на основе генеративной модели, определенного типа обучение с помощью машины модели.
Генеративные модели также называются «глубокими генеративными моделями» (потому что они используют более сложную архитектуру, чем негенеративные модели) или «моделями глубокого обучения» (потому что глубокое обучение имитирует структуры человеческого мозга).
Инструменты генеративного ИИ могут создавать изображения или музыку или использовать степень магистра права для генерации текста, применяя статистический и основанный на правилах процесс принятия решений, который предсказывает следующее слово в предложении.
Что вызывает галлюцинации ИИ?
Вот некоторые распространенные причины галлюцинаций, связанных с ИИ:
Низкое качество обучающих данных
AI-текст Генераторы не думают; они воспроизводят закономерности в своих обучающих данных. Предвзятые, неверные или недостаточные обучающие данные могут вызвать AI-текст Генератор для подделки ответов или генерации ошибок. Например, если модель ИИ обучена на наборе данных, содержащем информацию только о мужчинах-стоматологах, ИИ может ложно утверждать, что все стоматологи — мужчины.
Проблемы с внешними данными
Некоторые новые генераторы контента могут получить доступ к Интернету, что позволяет им дополнять свои наборы данных для обучения более актуальной информацией. Однако этот подход может вносить неточную информацию в исходные данные модели, поскольку инструменты ИИ не могут проверить достоверность информации, а разработчики не могут проверять недавно полученные источники.
Например, искусственный интеллект Google ответил на запрос пользователя о фруктах, заканчивающихся на «гм», фразой «аппликация, банан, клубника, томат и кокос», бессмысленный вывод, основанный на сообщении пользователя на форуме Quora.
Неисправные модели
Разработчики создают генеративные модели ИИ, содержащие закодированные «предположения», которые направляют модель на то, как обрабатывать данные и отвечать на запросы пользователя. Когда пользователь задает вопрос, модель ссылается на эти встроенные разработчиком предположения и правила, которые алгоритм машинного обучения модели написал во время фазы обучения модели.
Генеративные модели могут галлюцинировать, если они сталкиваются с противоречием между этими двумя наборами правил. Плохо спроектированные модели или большое количество предположений могут увеличить вероятность этого результата.
Плохие подсказки
Идиоматические подсказки или подсказки, которые просят ИИ выполнить задачу, выходящую за рамки его компетенции, могут вызывать галлюцинации, как и подсказки, которые слишком расплывчаты, слишком широки, нереалистичны, неэтичны или лишены контекста. Если вы спросите инструмент ИИ, например, о погоде для свитера, модель может неправильно истолковать идиому и сгенерировать бессмысленный ответ.
Инструменты ИИ также могут вызывать галлюцинации в ответ на враждебные атаки, которые представляют собой входные данные, намеренно созданные для обмана модели.
5 советов по предотвращению галлюцинаций ИИ
- Используйте инструмент по назначению
- Быть ясно
- Разбейте подсказки на шаги
- Укажите параметры
- Проверьте информацию
Вы не можете исключить возможность галлюцинаций у модели ИИ, но вы можете снизить вероятность ошибок, следуя лучшим практикам использования ИИ. Вот пять советов, которые помогут вам предотвратить галлюцинации ИИ:
1. Используйте инструмент по назначению.
Много генеративные инструменты ИИ имеют узкую цель, то есть архитектура модели, предположения и данные обучения готовят ее к выполнению определенного типа задачи. Вы с большей вероятностью получите релевантную и точную информацию, выбрав правильный инструмент для своего проекта.
Например, если вы попросите инструмент научного исследования написать код, инструмент генерации кода — сослаться на прецедентное право или инструмент юридического цитирования — сослаться на научные труды, инструмент, скорее всего, отклонит ваш запрос или сгенерирует ложную информацию.
2. Быть ясным
Четкие, прямые подсказки помогают инструментам ИИ выдавать релевантные, фактически правильные ответы. Например, вместо того, чтобы предлагать инструменту сгенерировать «список адвокатов Сан-Франциско, Нью-Йорк», вы можете запросить «список юридических фирм с офисами как в Сан-Франциско, так и в Нью-Йорке». Первый запрос может потенциально привести к списку адвокатов в любом из городов, отказу отвечать или фальсификации.
Избегайте использования идиоматических выражений или сленга, поскольку модели могут неправильно определить значение менее распространенных слов и фраз.
3. Разбейте подсказки на шаги
Инструменты ИИ могут ошибаться, и чем сложнее подсказка, тем больше у инструмента возможностей для галлюцинаций. Вы можете повысить точность генерируемого контента и улучшить свою способность проверять ответы, разбив подсказки на шаги.
Представьте, что вы владелец компании по продаже кормов для домашних животных в интернете и спрашиваете инструмент ИИ, как увеличить свой доход. Он говорит вам стать рентгенологом — потенциально жизнеспособное, но, скорее всего, нерелевантное предложение. Из-за характера вашего запроса вы не можете сказать, как инструмент пришел к своему выводу. Лучший подход может включать разбиение запроса следующим образом:
1. Попросите инструмент создать список категорий, которые он мог бы использовать для группировки наблюдаемых тенденций в отзывах ваших клиентов.
2. Попросите инструмент определить факторы, влияющие на решения о покупке в вашей отрасли, и ранжировать их от наиболее влиятельных к наименее влиятельным.
3. Попросите инструмент рекомендовать категории для организации данных вашего обзора на основе предыдущих двух ответов.
4. Попросите инструмент определить ваши сильные и слабые стороны для каждой рекомендуемой категории в соответствии с вашими отзывы клиентов.
5. Попросите инструмент рекомендовать изменения, которые помогут вам увеличить продажи, на основе ранее сгенерированной информации.
Такой подход снижает вероятность галлюцинаций вашего инструмента ИИ. Он также дает вам представление о методологии решения проблем инструмента, позволяя вам замечать галлюцинации и корректировать курс до того, как инструмент придет к рекомендациям.
4. Укажите параметры
Вы можете использовать примеры, ограничения источников или другие параметры, чтобы помочь инструментам ИИ возвращать точную, ценную информацию. Например, вы можете сопроводить исследовательский запрос инструкцией ссылаться только на рецензируемые источники или игнорировать данные до 2008 года. Вы также можете использовать шаблоны данных, чтобы контролировать, как инструменты ИИ обрабатывают и организуют информацию.
5. Проверка информации
Хотя проверка фактов технически не предотвращает галлюцинации ИИ, человеческий надзор является критически важным элементом ответственного использования ИИ, и он может помочь вам избежать реальных последствий действий на основе неверной информации. Используйте сторонние источники для перепроверки информации ИИ. Попросите инструменты ИИ ссылаться на источники, чтобы вы могли проверить их на авторитетность и подтвердить, что выходные данные ИИ точно отражают исходный материал.
Часто задаваемые вопросы об ИИ-галлюцинациях
Как часто у ИИ случаются галлюцинации?
В одном исследовании измерялись показатели галлюцинаций ИИ 3% до 27%.
Можно ли вылечить галлюцинации ИИ?
Технологические компании экспериментируют с решениями проблемы галлюцинаций ИИ. OpenAI, например, недавно представил инструмент ИИ который снижает частоту галлюцинаций, поддерживая технику, называемую обучением с подкреплением и обратной связью с человеком (RLHF).
Что является примером галлюцинации ИИ?
В 2023 году Бард из Google заявил, что космический телескоп Джеймса Уэбба (JWST) сделал первое изображение планеты за пределами Солнечной системы, несмотря на то, что другой телескоп сфотографировал планету за пределами Солнечной системы более чем за десятилетие до запуска JWST.
