|
не копая глубоко,
уточняющий момент по последнему пункту, который стоит держать в голове, формулировки самой эппл осторожны, это не модел джеминай, а apple foundation models, обученные на собственных данных через rl, которые затем были ''доработаны'' с использованием данных от ''фронтир'' моделей гугля. т.е. архитектурно и по обучающему процессу это не дистилляция джеминай в прямом смысле (когда веса/логиты учителя напрямую передают знание ученику), больше похоже на то, что ллм использовали как источник синтетических данных и/или для refinement на каком-то этапе. сам джеминай использовался только для доработки обучения, а не для живой обработки запросов, это отдельный и/или важный момент, потому что юридически и репутационно ''училась у джеминай офлайн’’ и ллм обрабатывает твои запросы в момент инференса, 2 совершенно разные истории про приватность и зависимость. есть пример с stable diffusion, который хорош именно потому что показывает асимметрию, база, это дорогой, рискованный, капиталоёмкий проект (compute, данные, архитектурные решения), а файнтюны, это где реально происходит специализация под продукт. но это не значит, что файнтюн ’’важнее’’ базы в смысле сложности, это другой тип сложности. без хорошей базы файнтюны упираются в потолок (сколько ни тюнь sd 1.5, у него нет того, что есть в sdxl по разрешению и композиции). эппл здесь интересна именно потому что у них почти весь видимый продукт, это слой инструкций/rlhf/дистилляции над базой, которую они частично делают сами, частично, как видно из источников, тренируют с помощью гугловской инфраструктуры и ’’доводят’’ данными от фронтир-моделей гугля. т.е. граница ’’своя база vs чужая база’’ у них самих смазана.
вкратце перевод на обычный яз.
приватность. раз джеминай участвовал только офлайн (на этапе тренировки), то ваши личные запросы никогда не улетают в гугль. когда вы пишете сообщение в iMessage и включаете ai-правку, обработка идёт исключительно на вашем устройстве или в защищённом облаке эппл (Private Cloud Compute). гугль не видит ваши переписки. если бы это была живая обработка, пришлось бы отправлять данные им.
независимость. эппл не ’’привязана’’ к api гугля в рабочем режиме. если у гугл упадёт сервер или подорожают токены, эппл это вообще не волнует, потому что их модель уже усвоила материал и работает автономно. зависимость есть только на этапе создания модели, но не на этапе использования.
юр. защита. формулировка ’’доработали с использованием данных’’, это юр.щит. эппл не продаёт вам ’’ai от гугль’’, они продают свой собственный продукт, который вдохновлялся лучшими практиками рынка. они не платят гуглю за каждый ваш запрос, а значит, не делят с ними выручку и не зависят от их условий лицензирования в долгую.
суть процесса (архитектура). они не брали готовые веса джеминай и не ’’сжимали’’ их до своих чипов. они просто взяли свою архитектуру (свои мозги), прогнали через неё тонны примеров, сгенерированных джеминай, чтобы она научилась красиво отвечать, а затем закрепили результат своим rl (подкреплением), отсеивая плохие ответы. т.е. это как взять рецепт какой-нибудь пиццы у итальянского шефповара, переделать тесто под свою муку, а потом добавить свой уникальный соус, пицца уже твоя, хотя идея нарезки колбасы пришла от макаронников.
__________________
credo, quia absurdum
and полкота 😑
|
21.06.2026, 11:34
