Задолбал нейрослоп: честный разбор, почему мы не можем без него

У нейросетей есть особенности, которые делают их незаменимыми помощниками. Они могут за секунду обработать огромное количество информации, и неважно, на каком языке она написана. Включая языки программирования. Нейросеть моментально переключается с Python на Assembler, собирает информацию из статей на русском, французском и китайском. Для неё это не проблема. Она способна структурировать и сгруппировать данные, которые человек даже не поймёт.

Но есть и обратная сторона. Допустим, у тебя есть 20 фраз или предложений, которые нужно логически сгруппировать по 10 текстовым файлам. Ты просишь нейросеть перегруппировать эти фразы по смыслу. Алгоритм генерирует семьсот строк на Python который даже не установлен на компьютере. Попытка исправить ошибку запускает механизм компенсации.

Она начинает наслаивать новые функции поверх сломанных. В попытках починить синтаксическую ошибку в низу файла алгоритм генерирует ещё десять тысяч строк мёртвого кода. Контекстное окно переполняется мусором, модель теряет нить рассуждения и начинает выдумывать переменные. Чем больше текста модель генерирует для исправления ошибки, тем сильнее размывается фокус на изначальной задаче. Модель пишет сотни скриптов, где пытается выполнить группировку только по одному слову из всего предложения и каждый раз промахивается и каждый раз говорит, что вот теперь все будет работать, просто была пропущена запятая.

Полученный результат требует больше времени на разбор, чем просто вручную взять и перекопировать все строки. Инженер тратит часы на чтение чужого бреда, пытаясь найти одну неверную скобку в десяти тысячах строк. Вот такие компенсации превращает простую задачу в архитектурный кошмар.

Источник: Хабрахабр