Тест по линейной классификации

JavaScript isn't enabled in your browser, so this file can't be opened. Enable and reload.

Пусть даны выборка X, состоящая из 5 объектов, и классификатор b(x), предсказывающий оценку принадлежности объекта положительному классу. Вычислите ROC-AUC для множества классификаторов a(x;t), порожденного b(x), на выборке X

Предсказания b(x) и реальные метки объектов приведены ниже:

1 point

2/3

5/6

1/2

Вы решали задачу бинарной классификации и получили ROC-AUC 0.92

Как изменится ROC-AUC, если в выборке продублировать каждый объект положительного класса 7 раз, а каждый объект отрицательного класса 4 раза.

1 point

ROC-AUC увеличится

ROC-AUC уменьшится

ROC-AUC не изменится

Вы решаете задачу бинарной классификации. Вы обучили классификатор и получил ROC-AUC > 0.99 на тестовой выборке. Вы упорядочили все объекты в тестовой выборке по убыванию вероятности классификатора, выбрали первые 1000 объектов с максимальной вероятностью. Какие это будут объекты?

0 points

Все эти 1000 объектов обязательно будут положительного класса

ROC-AUC на этих 1000 объектах тоже будет >0.99

Объекты могут быть какие угодно, в том числе может не оказаться объектов положительного класса

Вы работаете в команде автоматической модерации в одном из классифайдов в России. Продажа лекарств на класссифайд платформах запрещена, и если на сайте появляется объявление о продаже лекарств, то компанию могут закрыть. Чтобы избежать этого вам необходимо сделать модель, которая классифицирует все объявления на два класса: объявления о продаже лекарств, остальные объявления.

Пусть объекты положительного класса это объявления о продаже лекарств. Все объекты, которые модель классифицирует как положительный класс вы отправите на проверку модераторам.

Что в данной задаче важнее точность или полнота?

1 point

Точность важнее, мы не хотим отправлять лишние объекты на проверку модераторам

Важнее полнота, каждый пропущенный объект положительного класса это большие риски для компании

Нужно использовать F меру, так как важна и точность и полнота

Вы знаете, что ваш коллега выбрал все объявления за прошлый месяц, разделил все объекты на обучающую и тестовую часть в соотношении 1 к 9, обучил модель на обучающей выборке, на тестовой замерил accuracy и получил 0.98. Вам необходимо принять решение выкатывать ли данную модель в продакшн. Какое ваше решение?

1 point

Accuracy 0.98 очень хороший результат. Отличная модель, нужно скорее катить в прод.

Не стоит торопиться, сначала нужно узнать о соотношении объетов положительного и отрицательного класса в тестовой выборке. Скорее всего объявлений в которых продавали лекарства < 2% и тогда результаты модели странные.

Рассмотрим два способа усреднения точности и полноты. Выберите верные утверждения

1 point

В среднем гармоническом абсолютно бесполезные модели (например которые выдают всегда + 1) могут иметь значение сильно больше нуля, например, для точности 0.1 и полноты 0.9 гармоническое среднее будет равно 0.18, а геометрическое 0.3

G может быть отрицательна, непонятно как интерпретировать такой результат

G может быть больше 1

G тоже подойдет в качестве метрики для сравнения двух моделей на одной и той же выборке

Предположим у вас есть линейно разделимая выборка. Мы хотим обучать логистическую регрессию без регуляризации, используя метод полного градиентного спуска. Почему это плохая идея?

1 point

Потому что функционал не дифференцируемый

Потому что градиентный спуск либо не сойдется, либо сойдется к не оптимальному значению. Градиент оптимизационного функционала в задаче логистической регресси будет стремиться к нулю, когда <w, x> будет стремиться к бесконечности.

Это хорошая идея

Clear selection

Submit

Clear form

This content is neither created nor endorsed by Google. Report Abuse - Terms of Service - Privacy Policy

Forms