Искусственный Интеллект, быть или не быть.

[Vladimir Landau]

Сообщение от SIGSEGV

Узскоспециальная химия - не задача широкого профиля. "Система проверки качества работы ИИ" это тот самый Вася, который ставит моделям задачи и задаёт вопросы.

В том то и дело что решает, и довольно эффективно, однако, когда дело доходит до переднего края науки, чтобы позорно не буксовать, ИИ начинает изощренно врать, причем для неискушенного пользователя, знакомого с химией, но не очень погруженного в тему, весьма убедительно. Для понимания уровня сотрудничества химиков с ИИ опишу вкратце косяк, с которого начал. Вопрос стоял по поводу возможности реализации определенного процесса, которую исследователь интуитивно предположил, но в литературе сам информации не нашел. Поскольку в предыдущие разы ИИ давал ему ссылки на реальные статьи, которых он не знал, доверие к инструменту было. Уточню, что ИИ даёт не банальные ссылки на литературу, а обосновывает своё предложение варианта решения задачи информацией, взятой из ссылок, иллюстрируя её графиками и формулами из статей. Интерпретации данных из реальных статей получаются адекватными и небанальными. Именно поэтому возникло такое недоумение и негодование со стороны химиков на сложившуюся ситуацию.

В нашем же случае, статей на тему вопроса не случилось, и ИИ предложил несколько фейковых статей с иллюстрациями из них в виде фейковых графиков рентгеновского анализа структур в поле интереса, в которые, в подтверждение своего варианта ответа, он всунул несуществующие пики. То есть ИИ скомпилировал не только фейковый список литературы, но и сфабриковал данные в адекватном ситуации и приемлемом для исследователя формате, призванные подтвердить предложенное им решение вопроса.

Тут речь идёт не о банальном поисковике с речевым интерфейсом, отнюдь, ИИ демонстрирует определенные компетенции, без которых сфабриковать фейковую информацию с графиками невозможно.

Напрашивается вывод, ИИ вполне может быть помощником химику исследователю, и они используют возможности технологий довольно активно. Но ждать от ИИ корректной креативной «научной» работы с ноля (без доступных данных) пока не стоит. Это ученым придётся делать по старинке, самим.

В свете вышесказанного хочется спросить, где собственно в такой ситуации нужен программист, способный правильно настроить ИИ, чтоб хотя бы не врал? Или есть ощущение, что правильными настройками можно подкрутить ИИ до адекватного креативного научного поиска?

[SIGSEGV]

Сообщение от Vladimir Landau

В свете вышесказанного хочется спросить, где собственно в такой ситуации нужен программист, способный правильно настроить ИИ, чтоб хотя бы не врал? Или есть ощущение, что правильными настройками можно подкрутить ИИ до адекватного креативного научного поиска?

Для начала на этапе обучения моделей. Химикам придётся учить свои собственные.

Далее, для ИИ агентов или их аналогов у химиков. Должна быть возможность задавать ограничения, которые модель не будет забывать в рамках текущей рабочей сессии. За внешней информацией агенты должны ходить не в твиттер, а в специализированые ресурсы, т.е. мусор в модель попадать не должен.

Всё как у всех в общем.

Креативного научного поиска не будет. Найти корреляции в существующем материале - да. Продвинутый поиск в существующем - да. Но ничего нового модель не создаст, она работает в рамках существующего датасета на котором её учили. Если датасет был плох - будет врать. Если учили "не можешь решить задачу придумай что-нибудь" - будет врать.

Сообщение от Vladimir Landau

Тут речь идёт не о банальном поисковике с речевым интерфейсом, отнюдь, ИИ демонстрирует определенные компетенции, без которых сфабриковать фейковую информацию с графиками невозможно.

Какие компетенции ? Нарисовал графики и дал ссылки на несуществующие статьи ? Это не "компетенции" это заданное поведение модели для ширнармасс, состоящих в основном из менеджеров и прочих "гуманитариев". Им можно и нужно любую фигню показывать, всё равно читать не умеют

[Vladimir Landau]

Сообщение от SIGSEGV

Им можно и нужно любую фигню показывать, всё равно читать не умеют

Тут не соглашусь, ИИ скомпилировал абсолютно адекватный, с точки зрения профессионального исследователя, блок информации, построенный в лучших традициях научной риторики. Мало того, он работал не только с текстом, он скомпилировал графики, которые построил в рамках текущих представлений о природе явления, добавив в них данные, подтверждающие сфабрикованную им информацию. То есть, если бы создать образец, о котором шла речь, было возможно, то на графике его характеристики выглядели бы именно так, как ИИ это представил. Другое дело, что и образец и результаты его исследования вымышлены, но то, что алгоритм умеет так фантазировать, делает честь его разработчикам. Задать такое поведение и добиться его реализации - уже очень большой шаг к самостоятельной генеративной деятельности, ведь машина до тонкостей имитирует процесс научного поиска, и делает в рамках этой имитации соответствующие ей выводы.

Если Вы посмотрите тему на несколько постов назад, то Вы найдете пример конструктивного сотрудничества ученых с ИИ, в котором тот не только дал решение поставленной перед ним задачи, но и предложил исчерпывающий путь его реализации. Правда, там речь шла о модификации инструмента исследования, а не о поиске решения научной проблемы, но косяков ИИ не допустил, и позволил исследователю продолжить эксперимент в новых условиях, без привлечения дорогостоящей и мешкотной помощи технических специалистов.

И где тут деструктивное поведение, рассчитанное на ширнармассы?

Сообщение от SIGSEGV

Должна быть возможность задавать ограничения, которые модель не будет забывать в рамках текущей рабочей сессии.

Я не очень понимаю, какие ограничения можно задать в рамках обсуждения вопросов такого рода. Основное ограничение - рассуждать в рамках текущего представления о природе явлений, придерживаясь общепринятых законов и постулатов.
Требование "не фантазировать" было бы не лишним, но, вероятно, оно бы конфликтовало с требованием к креативности в областях, где творческий процесс ничем, кроме фантазии, не ограничен.

Сообщение от SIGSEGV

Если датасет был плох - будет врать. Если учили "не можешь решить задачу придумай что-нибудь" - будет врать.

Возможно, эта беда - обратная сторона необходимости предоставить алгоритму какую то свободу, которая на данном этапе реализована, как свобода врать.
Не знаю, является ли такой путь реализации свободы следствием коммерческой необходимости в создании иллюзии несуществующих компетенций. Возможно, отчасти это и так, но я не вижу в таком варианте тупиковой ситуации, подтверждающей принципиальную невозможность создать креативно мыслящую машину. Это скорее болезнь роста, отражение нашего непонимания природы когнитивных процессов и технологических ограничений для их реализации в ИИ.

[SIGSEGV]

Сообщение от Vladimir Landau

Тут не соглашусь, ИИ скомпилировал абсолютно адекватный, с точки зрения профессионального исследователя, блок информации, построенный в лучших традициях научной риторики. Мало того, он работал не только с текстом, он скомпилировал графики, которые построил в рамках текущих представлений о природе явления, добавив в них данные, подтверждающие сфабрикованную им информацию. То есть, если бы создать образец, о котором шла речь, было возможно, то на графике его характеристики выглядели бы именно так, как ИИ это представил. Другое дело, что и образец и результаты его исследования вымышлены, но то, что алгоритм умеет так фантазировать, делает честь его разработчикам. Задать такое поведение и добиться его реализации - уже очень большой шаг к самостоятельной генеративной деятельности, ведь машина до тонкостей имитирует процесс научного поиска, и делает в рамках этой имитации соответствующие ей выводы.

Если Вы посмотрите тему на несколько постов назад, то Вы найдете пример конструктивного сотрудничества ученых с ИИ, в котором тот не только дал решение поставленной перед ним задачи, но и предложил исчерпывающий путь его реализации. Правда, там речь шла о модификации инструмента исследования, а не о поиске решения научной проблемы, но косяков ИИ не допустил, и позволил исследователю продолжить эксперимент в новых условиях, без привлечения дорогостоящей и мешкотной помощи технических специалистов.

И где тут деструктивное поведение, рассчитанное на ширнармассы?

Строго говоря, поведение в обоих случаях одинаковое. То, что задача по модификации существующего инструмента оказалась выполнимой - чистое везение. Дальше учёные обрадовались, и начали грузить несчастного чат-бота по взрослому. Тут он и сломался. Этот этап проходят абсолютно все пользователи моделей. После чего либо начинают задавать ограничения, либо строить специализированные модели.

"Креативность" моделей - следствие решение задачи от маркетологов "оно не должно говорить не знаю, а должно выдумывать что-то правдоподобное". Это обходится путём задания ограничений в явном виде. А если модель их игнорирует - нужна другая модель.

В общем это не интеллект, оно не мыслит и само ничему не учится. Это продвинутая библиотека, которая среди существующих знаний может быстро найти нужные. А может и не найти.

[MikePilot]

Сообщение от Vladimir Landau

Эдак каждый пользователь должен стать соразработчиком алгоритма и быть глубоко в курсе, как он собственно работает. Зачем тогда нужны эти помощники, если нам нужно помогать им учиться помогать нам?

Я помню ровно эту же дилемму ещё в годы своей сопливой юности, в 80-е - на пике неуемной моды на всякие АСУ и паче того АСУ ТП ))) даже с зачатками не то чтобы знаний по экономике, но нахватавшись «по верхушкам» у взрослых дядей основных понятий в этой области, пытливый юношеский мозг сделал допущение о вреде повсеместной автоматизации и информатизации )) потом десятилетиями лишь убеждаясь в его небезосновательности. Особенно на базе более-менее стабильных промышленных и производственных комплексов. Например, в том же нефтегазе это имеет реальный смысл только при анализе геологии (действительно большие данные), и лишь утяжеляет систему управления и принятия решений в стабильных системах типа ЕСГ. От капитальных вложений в информационную инфраструктуру до содержания по большей части бессмысленного но напыщенного стада мальчиков и девочек (вне зависимости от биологического возраста) эту инфраструктуру обслуживающих.
Ну и отдельная весьма болезненная, но тоже отнюдь не новая тема - это тот самый пресловутый интерфейс между производственниками и асушниками/айтишниками при постановке задач и острейшая необходимость наличия грамотного «толмача» обладающего достаточными компетенциями в обеих областях. Так что ничто не ново под луною. Всё уже так или иначе было в этом мире. Поэтому придерживаюсь достаточно скептической оптики зрения на новомодное поветрие под названием «ии». Ровно как асу/асу-тп не стало революцией в промышленности, а лишь модной гирей на ноге, так и ии будет в большинстве своём лишь продолжать жрать ресурсы, только в более неприличном масштабе. При несомненной побочке в виде ускоренной дебилизации основной массы исполнителей и, не дай бог, управленцев. А с этим и так уже всё достаточно грустно.
Да, в каких-то узкоспециализированных областях это может иметь и смысл и эффект, но (sic!) при персонифицированной точечной настройке под конкретные задачи и строгой верификации выдаваемых результатов. Но ни в какие «революционные и прорывные» эффекты на широком поле как-то не очень верится. Ну вот совсем.
Дай бог ошибаться… )

[SIGSEGV]

Сообщение от MikePilot

Да, в каких-то узкоспециализированных областях это может иметь и смысл и эффект, но (sic!) при персонифицированной точечной настройке под конкретные задачи и строгой верификации выдаваемых результатов. Но ни в какие «революционные и прорывные» эффекты на широком поле как-то не очень верится. Ну вот совсем.
Дай бог ошибаться… )

Так и делают. В широких областях. И донастраивают, и свои модели учат.

Модели это просто инструмент. Отличный для тех, кто понимает их ограничения.

Те же самые модели, в то же время, позволяют легко и незаметно отстрелить себе яйца. Если пользователь верит в интеллектуальность моделей, и ожидает что результат их деятельности не нужно будет проверять.

Думать за человека модель не будет. Она может помочь сделать, если ей четко объяснить что нужно и как это должно быть реализовано.

[Vladimir Landau]

Сообщение от SIGSEGV

Думать за человека модель не будет

Вот тут мы и вернулись к основному вопросу этой темы, остальное, так или иначе, понятно вдумчивому человеку.
Только ответ из цитаты выше нужно чуток перефразировать, чтобы он попадал в контекст ключевого вопроса дискуссии.

Для решения фундаментального вопроса "быть или не быть" ИИ мыслящей машиной, сравнимой или превосходящей человека по эффективности осмысления реальности, нужно решить, не будет ли ИИ думать за человека, а сможет ли он думать за человека в принципе. И если ответ Да, то способ заставить его думать за человека отыщется, об этом уж человек позаботится. А если ответ Нет, то и говорить не о чем.

Нужно лишь пояснить свою позию, какой бы она не являлась, из уважения к собранию благородных донов, так сказать

[SIGSEGV]

Сообщение от Vladimir Landau

нужно решить, не будет ли ИИ думать за человека, а сможет ли он думать за человека в принципе. И если ответ Да, то способ заставить его думать за человека отыщется, об этом уж человек позаботится. А если ответ Нет, то и говорить не о чем.

Нужно лишь пояснить свою позию, какой бы она не являлась, из уважения к собранию благородных донов, так сказать

Существующие модели думать за человека не могут. И не смогут. Фундаментальное ограничение технологии. Модели не понимают смысла слов, не запоминают то, о чём с ними говорят, не могут самостоятельно обучаться без посторонней помощи.

Как клавиатура в телефоне, только сложнее устроены и мощнее в плане предсказания следующих слов.

[Sk555]

Сообщение от SIGSEGV

Да, в итоге к каждому необычному Васе придётся приделать программиста

Каждому конструктору - по слесарю и т.п. Всё верно.

Сообщение от SIGSEGV

AI poisonig

Опустим пока тему бэкдоров и PoisonGPT. Рассмотрим типичное поведение популярных AI.
1) Парой страниц раньше был скрин: ответ на вопрос про Moser и Zenith Алиса AI дёрнула из этой темы форума, приведя несколько раз повторённый на разных языках ответ как наиболее правильный (ссылка на тему присутствует в ответе Алисы как основной источник информации). Насколько ответ точен? ХЗ, надо рыться в источниках. Зато он теперь эталонный
2) Запрашиваем у Google AI выходные данные несуществующей публикации. Например,

Сообщение от Vladimir Landau

“Nalbandian et al., CEJ 223 (2013) 398–407”

Получаем:

Интернет наводнён мусором и рекламой. Манипулировать "ИИ" не так уж сложно

Сообщение от Vladimir Landau

Для решения фундаментального вопроса "быть или не быть" ИИ мыслящей машиной, сравнимой или превосходящей человека по эффективности осмысления реальности, нужно решить, не будет ли ИИ думать за человека, а сможет ли он думать за человека в принципе.

Вопрос терминологии. Если мыслительная деятельность — это инструмент взаимодействия с реальностью, AI полноценно "думать" не может в силу отсутствия органов чувств. Зато AI может осуществлять интеллектуальную деятельность по сбору и анализу информации в открытых источниках, - то есть, модель вполне способна заменить ассистента-человека. Может даже творить, - создавать оригинальные нематериальные активы в области науки, литературы и искусства.
Если создание уникального результата, который позволяет решить конкретную задачу и достичь поставленных целей, признак мышления, - AI уже "думает".

[Vladimir Landau]

Сообщение от SIGSEGV

Существующие модели думать за человека не могут. И не смогут.

Я, положа руку на сердце, тоже сторонник концепции "Плохого" ИИ, но не готов довольствоваться банальным

Сообщение от SIGSEGV

Модели не понимают смысла слов, не запоминают то, о чём с ними говорят, не могут самостоятельно обучаться без посторонней помощи.

От "Не могут", до "Не смогут" дистанция огромного размера, и основной вопрос в том, насколько

Сообщение от SIGSEGV

Фундаментальное ограничение технологии.

действительно существует в природе, или оно лишь следствие уровня развития технологий сегодня.

Сообщение от Sk555

AI полноценно "думать" не может в силу отсутствия органов чувств

А кто мешает пришпандорить ему органы чувств? У меня есть ощущение. что органы чувств человечество давно умеет делать лучше, чем мыслящие машины. Мало того, эти органы чувств могут быт значительно "чувствительнее" человеческих, и тем самым существенно раздвинуть горизонт ощущаемого машиной.

Так что этот довод я не готов принять.

Свои доводы по поводу перспектив развития ИИ я привел в топике темы, и до настоящего времени, за очень небольшим исключением, от них не открещиваюсь.

Сообщение от Sk555

мыслительная деятельность — это инструмент взаимодействия с реальностью

Это слишком узкое определение, оно не даёт понимания что же такое мышление, которое правильнее для целей нашего обсуждения определить, как функциональное свойство сознания.
В такой парадигме вопрос о том, способна ли машина мыслить, формулируется иначе, способна ли машина осознавать себя в соответствии с принципом свободы воли, и реализовывать независимую от внешних условий и посторонних влияний спонтанную мыслительную активность.
Ответ на этот вопрос звучит так: на сегодняшний день не способна. Но возможности создания мыслящей машины в принципе, отрицать однозначно не получается. Во всяком случае, неоспоримые доводы в голову пока не приходят, а те, что приходят (часть из них изложена в этой теме несколькими участниками дискуссии) неоспоримыми кажутся лишь на первый взгляд. Они скорее базируются на ограниченности наших знаний в области природы интеллекта и технологических возможностей в создании вычислительных устройств.