22 July 2023

Дегенеративный AI

После нескольких первых сессий с ChatGPT я оказался в числе тех, кто с огромным скепсисом воспринял новую технологию. 

Безусловно, это прикольное свойство такого рода алгоритмов -- вести вроде как осмысленный диалог, с "пониманием" его текущего контекста, но вот к потенциальной пользе такого рода "бесед" есть большие вопросы.
Практически все мои диалоги на профессиональные темы (т.е. по теме программирования) состояли из некорректных и крайне сомнительных ответов машины, хоть какой-то "смысл" из которых мог бы извлечь разве что специалист, глубоко разбирающийся в теме. Новичка же программирование с подсказками AI будет постоянно заводить на крайне опасные территории. И нет ничего удивительного, что сообщество "Stack Overflow" практически моментально среагировало на появление ChatGPT тотальным запретом на постинг результатов работы этого алгоритма в качестве ответа на задаваемые вопросы. 

Да ладно, хрен с ним, с программированием, я вот сегодня, смеха ради, закинул в ChatGPT совсем простой запрос "best coop platformers of all time" и получил (вместе с предупредительным "это очень субъективно") следующую десятку игр:
    New Super Mario Bros. Wii (2009)
    Rayman Legends (2013)
    Cuphead (2017)
    Donkey Kong Country: Tropical Freeze (2014)
    Trine 2 (2011) 
    Overcooked 2 (2018) 
    LittleBigPlanet 2 (2011) 
    Super Mario 3D World (2013) 
    Guacamelee! (2013) 
    Lovers in a Dangerous Spacetime (2015) 

Все хорошо, не считая небольшой проблемы -- "Overcooked 2" и "Lovers..." это не платформеры никаким боком.  



Т.е. даже в самой тривиальной выдаче 20% информации это мусор, для отсеивания которого не нужны какие-то супер специфические, экспертные знания.  

Ради продолжение шоу ввел точно такой же запрос три минуты спустя.
Получил следующую десятку:
    Super Mario Bros. Series (Various Nintendo Consoles)
    Rayman Legends (Multiplatform)
    Donkey Kong Country Series (Various Nintendo Consoles)
    New Super Mario Bros. Series (Nintendo Consoles)
    Castle Crashers (Multiplatform)
    Cuphead (Multiplatform)
    Trine Series (Multiplatform)
    LittleBigPlanet Series (PlayStation Consoles)
    Spelunky 2 (Multiplatform)
    Guacamelee! Series (Multiplatform)

Какие изменения мы видим в новом списке? 
Во-первых, AI почему-то начал писать про серии игр (6 элементов в списке), хотя запрос был точно такой же и спрашивали его просто про игры, а не серии. 
Во-вторых, если сохранять хоть какую-то системность выдачи и исходить из серий, то мы должны были бы видеть "Spelunky Series", которая представлена точно так же всего двумя играми как и "Guacamelee!". 
В-третьих, в выдаче по прежнему есть мусор -- "Castle Crashers" это не платформер. 
В-четвертых, а куда подевался год выпуска? Почему в первой выдаче он был, а во второй этот момент перестал быть важным и появилась платформа?  
И вообще, а это в принципе правильно, что каждый свой ответ AI генерирует, имея глубоко в фундаменте огромный фактор случайности, и ни один из пяти одинаковых запросов не даст одинаковый результат?  

Теперь про выводы из всей этой истории.
В своем текущем виде такого рода AI алгоритмы мне видятся не то, чтобы полезными, а даже вредными. Подкупающая простота получения глубоких "аналитических" ответов по абсолютно любой теме приводит к тому, что многие, в силу лени, принимают их за истину в последней инстанции, даже не пытаясь задействовать минимальный уровень скепсиса и производить хотя бы поверхностную предварительную проверку. 
А многие держатели ресурсов с контентом уже начали потирать ручки, надеясь заваливать свои сайты дешевым генерированным материалом типа "Лучшие TWS наушники, которые вы можете купить прямо сейчас" или "Десять причин, почему вам стоит попробовать анальный секс". Сеть начала активно заполняться информационными помоями, которые представляют из себя миллионную перекомпиляцию того, что уже давно было написано людьми, с досыпанным ворохом ошибок, неточностей и дезинформации...
 
Как говорится, добро пожаловать в Web нового поколения