Снова опять again за тот самый "исскуственный интеллект"

Давно не посещал Калифорнию, но даже из-за океана начинает казаться, что если сегодня в Кремневой долине кто-то во время "elevator pitch", широко улыбаясь, скажет волшебную аббревиатуру "AI", то тут же получит по морде тяжелым портфелем с документами. 
Как-то несколько утомил движ вокруг этой истории. 

Про CrowdStrike же слышали? Ну да, теперь все слышали. А я под этой малварью вынужден работать несколько последних лет и это, мягко говоря, не самый приятный опыт... Так это я к чему. Зашел на их сайт, а там с порога, со стартовой страницы, большими буквами, вам, естественно, пытаются что-то парить за искусственный интеллект. 

Но, как говорится, "ну что, сынку, помог тебе твой дегеративый AI?". 

Короче, хочу поделиться новой порцией впечатлений от общения с самой хайповой технологией ChatGPT. Тем более, что та самая, волшебно-удивительная версия 4.0, которая "ну прямо вот сильно лучше чем 3.5!!!1" стала бесплатно доступна простым смертным вроде меня. 

***

На днях решил получить с помощью ChatGPT статистическую выборку из общедоступных, однозначно интерпретируемых данных. Например, из области музыки. Пишу "а дай мне список самых коротких песен с каждого альбома Dream Threater". Получаю большой список, пробегаюсь по нему глазами и слету нахожу в нем как минимум две ошибки. И ошибки ни фига не похожие на ошибки, которые мог бы совершить человека, когда в спешке с альбома была выбрана чуть более длинная песня из близкой пары типа 3:19 и 3:31. Совершенно тупые, грубые, ничем не объяснимые ошибки. 

Ну, у нас же система итеративная, каждый чих надо проверять, а потом выдавливать корректную версию. Командую "а давай как ты мне составишь список без ошибок". 

Получаю чуть скорректированный список. Одна ошибка ушла, как минимум одна точно осталась. 

Командую -- пройдись по своей первой выдаче и напиши, где ты накосячил. 

И тут Остапа понесло. Чтобы вы понимали качество "анализа" собственных "ошибок". 

Дебютный альбом. 
В первой выдаче была песня "Status Seeker" с верно указанной длинной 4:16. 
Во второй выдаче правильный результат был заменен на "The Ones Who Help to Set the Sun". Чат сказал, что у этой песни длина 5:46. 
Анализ ошибки от чата: Mistake: I initially listed the longest track ("Status Seeker" was incorrect).

Ну, во-первых, очевидно, что 4:16 короче 5:46 (и это данные, которые выводит сам же алгоритм!). Но, во-вторых, проблема заключается в том, что "Status Seeker" это был правильный ответ, а 5:46 не является длинной трека "The Ones Who Help to Set the Sun"! Тот вообще длится больше 8 минут!

Едем дальше. Выдача из одноименного альбома "Dream Threater". 
Первая выдача -- "The Bigger Picture". Это ошибка. 
Вторая выдача (в которой просили все исправить) -- тоже самое. 
Анализ допущенных ошибок -- "ой! это ж была не правильная песня!".
Ну как так то, блин?!

Потом наш диалог ушел в более "философские" темы, я пытаюсь добиться от AI объяснения, чего ж он так плохо отвечает на такие тривиальные запросы. Три мои реплики и три ответа подряд AI к каждому цепляет список песен, продолжая его модифицировать случайным образом (при том, что его о выдаче списка никто не просит!). А в качестве извинений чат говорит, мол это ж все "human error".

Списки я уже даже не пытаюсь анализировать. Это просто мусор, мутирующий каждый раз совершенно случайным образом. 
Последней фразой, совершенно от балды, пишу "чувак, да у тебя в списке все еще осталось две ошибки". 
Получаю новый список. За пару секунд нахожу в нем ошибку (все короткие песни DT я теперь буду помнить до конца своих дней). Закрываю чат. Занавес. 

Внимание, вопрос! Как эффективнее получать ответы на такого рода запросы -- посидеть пару минут в данных дискографии самому или полчаса перепроверять (с помощью тех же данных из дискографии) два десятка случайных вариантов от чата? 

Простой, однозначный запрос по строго детерминированным данным. 
Имея доступ к практически любой музыкальной базе можно на коленке состряпать примитивный SQL запрос и получить правильный ответ в течении минуты. 
А хваленая технология "нового тысячелетия" при выдаче ответа не использует ничего, кроме генератора случайных чисел. Откуда-то берет левые данные (завтра этот рандом заведет ее в дискографии вообще других групп или в числа из таблицы Менделеева). И даже не может корректно "рассуждать" вокруг таких сверхсложных задач "что короче 4:16 или 5:46?". 

***

Я ж купил себе новый телефон. Инженерный бэкграунд не дает мне покоя, поэтому сначала я протестировал камеру, потом дошла очередь до оценки производительности новой системы. Захотелось померяться с другими гаджетами на хозяйстве типа ноутбука и Steam Deck'а. Значит, нужны игры, чтобы были с нормальным набором для настройки графики, со строенным бенчмарком и чтобы работали на Windows и Android. 
Прихожу в ChatGPT с этим запросом, а он мне начинается выдавать всякие помойки типа "Genshin Impact". Я говорю, не надо мне этот "free to play", дай нормальный список. 
Получаю список, где упоминается Doom (2016). 
Пишу "чувак, чо, я правда могу поиграть в этот Doom на Android?!". 
Вообще, обычно болванчик настроен так, что на такого рода замечания тут же сдает колоду по новой и начинает извиняться-исправляться все-нахрен-переделывать (даже если и не было никакой ошибки). Но тут галлюцинация попалась особенно упорной и я на серьезных щах получил объяснение, что "да, мол если у тебя high-end device, то почему бы и нет?". 
Я намекнул и пожирнее, попросив ссылку на игру в магазине Google. 

Тут дурачок наконец-то сдался. Но чтобы как-то сгладить неловкость момента, написал, что раз уж Doom (2016) на Android не доступен, то я могу попробовать Doom Eternal, потому что он дарит практически такой же игрой опыт!..

Огромное тебе спасибо за этот ценный совет!!

Тем временем, определившись с играми, я уперся в серьезную проблему другого рода. Разблокировка frame rate, чтобы кадры выводились асинхронно, по мере готовности, без всякого лимита или синхронизации. Поторчав немного в гугле, я решил спросить о проблеме и у чата. И снова получил поток сознания в который, например, затесался совет пойти в дев настройки и покрутить опции типа "Force 4x MSAA, Disable HW overlays, and adjust Window Animation Scale, Transition Animation Scale, and Animator Duration Scale to 0.5x or 0x"... Что это? Откуда это? Почему весь этот бред появляется в выдаче?
Вопросы риторические. 

***

Но давайте насыплю чуть и позитива. 

Учу болгарский (блин, сказал бы мне кто об этом три года назад... я бы сильно удивился). Естественно, обкладываешь себя словарями и переводчиками. 
Google Translate работает крайне стремно, допуская грубейшие ошибки и "галлюцинируя" не хуже ChatGPT.

Но, наверное, самая ходовая ошибка с его стороны -- отработка обращений "ты" и "вы". Если направление перевода русский → болгарский, т.е. из языка в язык где этот, крайне существенный, нюанс существует, то крайне неприятно наблюдать его полное игнорирование. Возможно, это один из аргументов в пользу теории о том, что Google Translate для перевода в большинстве направлений использует английский язык в качестве промежуточного. Тогда понятно, почему изначальное "вы" в русском превращается в "ты" в болгарском варианте. 
Кстати, не верьте пиару, существующему вокруг переводчика DeepL -- переводит он так же хреново, до неприличия похоже на Google. 

Зато искренне могут похвалить то, как работает ChatGPT -- обычно тут перевод существенно качественнее. И "ты" и "вы" он практически никогда не путает... Осталось только научить его понимать, что 4 минуты это меньше, чем 5 минут и будет вообще зашибись! А пока что я бы застремался поручать ему даже управление тостером на кухне.