- (Почти) доказуемые границы ошибок при сдвиге распределения из-за несоответствия (arXiv)
Автор: Элан Розенфельд, Саураб Гарг
Аннотация: Мы получили (почти) гарантированную верхнюю границу ошибки глубоких нейронных сетей при сдвиге распределения, используя неразмеченные тестовые данные. Предыдущие методы либо дают границы, которые на практике бессмысленны, либо дают оценки, которые в среднем точны, но сильно недооценивают ошибку для значительной части сдвигов. В частности, последние дают гарантии, основанные только на сложных непрерывных измерениях, таких как испытательная калибровка, которые невозможно идентифицировать без этикеток, и поэтому ненадежны. Вместо этого наша граница требует простого, интуитивного условия, которое хорошо обосновано предыдущими эмпирическими работами и эффективно выполняется на практике в 100% случаев. Граница основана на дивергенции HΔH, но ее легче оценить, она существенно более точная, что постоянно обеспечивает непустые гарантии. Оценка границы требует оптимизации одного мультиклассового классификатора, чтобы он не согласовывался с другим, для чего в некоторых предыдущих работах использовались неоптимальные прокси-потери; мы разрабатываем потерю из-за разногласий, которая теоретически оправдана и лучше работает на практике. Мы ожидаем, что эта потеря может послужить заменой будущим методам, которые требуют максимизации разногласий между несколькими классами. В широком диапазоне тестов наш метод дает действительные границы ошибок, обеспечивая при этом среднюю точность, сравнимую с базовыми показателями конкурентных оценок. Код общедоступен по адресу https://github.com/erosenfeld/disagree_discrep.
2. Раскрытие скрытой динамики самостоятельного обучения с помощью видео в условиях смены распределения (arXiv)
Автор: Притам Саркар, Ахмад Бейрами, Али Этемад.
Аннотация: t: Видеообучение с самоконтролем (VSSL) за последние годы добилось значительного прогресса. Однако точное поведение и динамика этих моделей при различных формах сдвига распределения пока неизвестны. В этой статье мы всесторонне изучаем поведение шести популярных методов самоконтроля (v-SimCLR, v-MOCO, v-BYOL, v-SimSiam, v-DINO, v-MAE) в ответ на различные формы естественного сдвига распределения. , то есть (i) сдвиг контекста, (ii) сдвиг точки зрения, (iii) сдвиг актера, (iv) сдвиг источника, (v) возможность обобщения на неизвестные классы (нулевой выстрел) и (vi) распознавание открытого множества. Для проведения этого обширного исследования мы тщательно создали испытательный стенд, состоящий из 17 пар тестов, находящихся в распределении и вне его, используя доступные общедоступные наборы данных и ряд протоколов оценки для стресс-тестирования различных методов в соответствии с намеченными изменениями. Наше исследование выявило ряд интригующих результатов и интересного поведения методов VSSL. Например, мы наблюдаем, что, хотя видеомодели обычно не справляются со сдвигами контекста, v-MAE и контролируемое обучение демонстрируют большую надежность. Более того, наше исследование показывает, что v-MAE является сильным временным обучающимся, тогда как контрастные методы, v-SimCLR и v-MOCO, демонстрируют высокие показатели против изменений точки зрения. Изучая концепцию распознавания с открытым набором, мы замечаем компромисс между производительностью распознавания с закрытым и открытым набором, особенно если предварительно обученные кодеры VSSL используются без точной настройки. Мы надеемся, что наша работа будет способствовать разработке надежных сред обучения представлению видео для различных сценариев реального мира.
