Свёрточная сеть десятилетней давности обошла большие модели в диагностике рака кожи

Лаборатория Линча опубликовала сравнение: свёрточная нейросеть десятилетней давности точнее распознаёт рак кожи по фотографии, чем современные самые мощные языковые модели. Свёрточная сеть — узкая модель под один тип изображений, обученная на размеченных снимках родинок; языковые модели работают с картинкой как с одним из входов среди прочих.
Авторы прогнали и те и другие на одном наборе снимков. Специализированная сеть обошла универсальные модели, хотя архитектура у неё старая и запускается она на обычном ноутбуке.
Разбор собрал на Hacker News больше четырёхсот очков; в комментариях спорят, корректно ли сравнивать модель, обученную ровно на этой задаче, с универсальной.
Что говорят
fastballHacker News
Ничего удивительного. LLM задуманы как универсальный интеллект, они сильны там, где фронтир-лаборатории меряют бенчмарки (код, математика), но никто не обещал, что они будут хороши во всём. Универсальность открывает новые сценарии работы, а не доводит до идеала существующие.
snittyHacker News
Вот поэтому я и не понимаю восторгов вокруг моделей принятия решений в стиле Jev. Для любого применения в масштабе точнее будет выделенный классификатор на подходящей архитектуре, а LLM как раз снижают стоимость создания таких моделей почти до нуля. Используйте LLM, чтобы сделать штуку, которая реально хорошо решает вашу задачу.
howunfortunateHacker News
Извините, но как ML-инженер скажу: статья бесполезна и не заслуживает главной страницы. Это сравнение дообученной CNN с моделями общего назначения на крошечном датасете.