Исследователи из Сиднейского университета выяснили, почему искусственный интеллект может вести себя по-разному даже при почти идентичных условиях обучения. Работа профессора Пулина Гонга и его аспиранта Эндрю Ли опубликована в журнале Nature Machine Intelligence. Данную информацию сообщает портал Phys.org.
Учёные установили, что непредсказуемость ИИ связана не с ошибками в коде или нестабильностью оборудования, а с математической природой обучения нейросетей. Даже если убрать все внешние факторы случайности, крошечные различия в начальных параметрах модели могут привести к разным результатам.
Команда провела около 500 тысяч экспериментов с нейросетями, включая системы распознавания изображений и обработки текста. Оказалось, что области, ведущие к одинаковым результатам, организованы как сложные фракталы — «перемешанные бассейны». В такой структуре любая точка находится рядом с точками, ведущими к другому исходу, сколько бы ни приближать изображение.
Практический вывод впечатляет: повышение точности начальных настроек в 10 миллиардов раз не дало измеримого улучшения воспроизводимости. В одной из сетей изменение настроек на один бит — минимально возможное для компьютера — в 48% случаев отправляло обучение по другому пути.
Исследование также выявило неожиданный компромисс: настройки, позволяющие сетям учиться эффективнее, делают результаты менее предсказуемыми. Снижение скорости обучения повышало воспроизводимость, но ухудшало качество обучения. Авторы считают, что непредсказуемость — фундаментальное свойство нейросетей, и предлагают пересматривать архитектуры сетей, чтобы снизить математические условия нестабильности.