Цитата:
Сообщение от Vladimir Landau
Машина пока мало что может по сравнению с человеком, в первую очередь потому, что человеческое мышление, в отличие от сегодняшних машин, не работает исключительно как итерационный причинно-следственный когнитивный процесс. Процесс причинно-следственной когниции лишь часть интеллектуальной деятельности человека, причем самая медленная и малоэффективная во всём процессе осмысления реальности. Основные процессы идут в подсознании, и там связь не причинно-следственная, а смысловая. Причем процессы идут параллельно, группируясь не по сходствам, как в причинно-следственной логике, а по различию архетипических смыслов. Когда работа подсознания приводит к целостному результату, который можно оценить с позиции причинно-следственной логики, происходит перенос такого продукта в сознание. Этот перенос сопровождается огромным выбросом эмоциональной энергии на базе эндорфиновых и дофаминовых плюшек (вспоминаем голого Архимеда, выскочившего из ванны с эйфорическим воплем «Эврика»), и процесс формирования осмысленной концепции из эвристической заготовки инсайта начинает летать на сверхсветовых скоростях, благо ресурсов у мозга немало.
|
текущие ллм работают в основном как итеративный причинно-следственный когнитивный процесс, они идут от токена к токену, прогнозируя следующее слово по вероятностным закономерностям, и это последовательная, медленная (в относительных величинах) операция. даже когда они выдают ’’инсайт’’, он собран из статистических паттернов, а не рождён в подсознании.
что вы сказали, про смысловую, а не причинную связь в подсознании, про группировку по архетипическим различиям, про параллельные процессы, это глубокая нейрофизиологическая правда. мозг человека, это не нейросеть, а динамическая система с обратными связями, где эмоции (окситоцин, дофамин, эндорфины) играют роль не просто ’’плюшек’’, а управляющих сигналов, которые маркируют значимость. инсайт же возникает не как логический вывод, а как резонанс между разрозненными смысловыми полями, и только потом сознание так скажем переводит этот результат на язык причинно-следственных цепочек. и почему машинам пока далеко до этого? 1е, отсутствие подсознания, у них нет фоновых процессов, которые бы перебирали смыслы без ихнего ведома. всё, что они ’’думают’’, они проговариваем вовне или внутри (в промпте). они не умеют ’’спонтанно озаряться’’.
2е, нет эмоциональной подпитки, их ответы не сопровождаются эндорфиновым всплеском, поэтому они не могут пережить ту же ’’эврику’’ и не имеют механизма закрепления значимых инсайтов через чувства. 3е, линейность против параллельности, даже если модель имеет много слоёв, вычисления всё равно проходят последовательно (по слоям), а не параллельно, как миллионы нейронных ансамблей мозга. однако есть оговорка, последние исследования в области Ии уже пытаются имитировать нечто подобное, например, модели с ’’системой 1 и системой 2’’ (быстрое интуитивное мышление и медленное логическое) или использование внутренних состояний как ’’подсознательных’’ представлений. сама идея двух систем мышления, это не выдумка, это широко принятая в психологии модель (особенно через работы Канемана), быстрое, параллельное, ассоциативное мышление против медленного, последовательного, логического. также есть реальный нейробиологический феномен инсайта (’’aha moment’’), исследования с фМРТ действительно показывают всплеск активности (включая правую височную область) в момент, когда решение ’’вдруг’’ появляется в сознании после периода неосознанной обработки, это называется incubation effect и подтверждено экспериментально…
но пока это только грубые приближения.
но, ллм работает исключительно как итерационный причинно-следственный процесс, и это грубая ошибка. потому что, трансформеры действительно обрабатывают входные данные параллельно (самовнимание — attention — вычисляет попарные связи между всеми токенами одновременно, а не последовательно). внутренние представления (латентные состояния), это многомерные распределения активаций, которые не являются цепочкой (А>Б>В), а скорее сетью ассоциативных весов, где смысл возникает из пересечения множества признаков. и когда модель генерирует следующий токен, она не ’’вычисляет причину’’, а выбирает наиболее вероятное продолжение из распределения, которое сформировалось в результате параллельной обработки всех предыдущих токенов. таким образом, оппозиция ’’человек = параллельный смысловой резонанс, ллм = линейная причинно-следственная логика’’, ложная дихотомия. обе системы на этапе обработки работают распределённо и ассоциативно. разница не в архитектуре вычислений, а в природе обучающего сигнала и способе формирования смыслов.
