ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «СБЕРБАНК РОССИИ»

1.1. Цель документа

Данный отчет создан с целью обеспечения непрерывности бизнес-процессов, сохранения и распространения внутренних экспертных знаний внутри Группы, а также для подтверждения обоснованности и корректности разработанной модели.

Для достижения этих целей Отчёт подробно описывает основные методологические подходы к моделированию

1.2. Цели и задачи, для которых требуется построение модели

• {{ model_aim }}

1.3. Структура документа

Данный отчет имеет следующую структуру:

• Раздел «Параметры модели» содержит описание полученной модели: признаки, коэффицинты регрессионной модели, разбиение признаков на бины
• Раздел «Валидационные тесты» содержит информацию о валидационных тестах

1.4. Сводная информация по модели

Основные идентификационные данные модели собраны в Таблице 1.

Таблица 1. Идентификаторы модели

Параметр	Значение
Название модели / ID	{{ model_name }}
Версия отчёта	{{ report_version }}
Заказчик модели	{{ zakazchik }}
Название участника Группы и структурного подразделения верхнего уровня	{{ high_level_department }}
Разработчик модели (в случае привлечения внешнего разработчика, необходимо указать название компании)	{{ ds_name }}

Описание и характеристики выборок, использованных при разработке и тестировании модели представлены в Таблице 2.

Таблица 2. Сводное описание выборок для модели

Характеристика	Обучающая выборка	Тестовая выборка
Определение целевого события	{{ target_descr }}
Определение нецелевого события	{{ non_target_descr }}
Количество наблюдений в выборке	{{ count_train }}	{{ count_test }}
Количество целевых событий	{{ train_target_cnt }}	{{ test_target_cnt }}
Количество нецелевых событий	{{ train_nontarget_cnt }}	{{ test_nontarget_cnt }}
Среднее целевой переменной в выборке	{{ train_target_perc }}%	{{ test_target_perc }}%

Результаты работы модели, обученной на обучающей выборки, приведены в Таблице 3.

Таблица 3. Результаты работы модели, обученной на обучающей выборки

Характеристика	Обучающая выборка	Тестовая выборка
AUC	{{ train_auc_full }}%	{{ test_auc_full }}%
Gini	{{ train_gini_full }}%	{{ test_gini_full }}%

2.1. Коэффициенты регрессионной модели

Коэффициенты регрессионной модели, приведены в Таблице 4.

Таблица 4. Коэффициенты регрессионной модели

{% for pair in model_coef %} {% endfor %}

Наименование признака	Регрессионный коэффициент
{{ pair[0] }}	{{ pair[1] }}

2.2. Разбиение признаков на бины и WoE значения в них

{% for img in features_woe %}



{% endfor %}

3.1. Отличия в числе пропусков между обучающей и тестовой выборкой

Статистка по пропущенным значениям в обучающей и тестовой выборке приведена в Таблице 5.

Таблица 5. Пропуски в данных

{% for val in final_nan_stat %} {% endfor %}

Наименование признака	Число валидных значений в обучающей выборке	Число валидных значений в тестовой выборке	Число пропущенных значений в обучающей выборке	Число пропущенных значений в тестовой выборке	Процент валидных значений в обучающей выборке	Процент валидных значений в тестовой выборке	Разница процентов валидных значений в выборках
{{ val[0] }}	{{ val[1] }}	{{ val[2] }}	{{ val[3] }}	{{ val[4] }}	{{ val[5] }}	{{ val[6] }}	{{ val[7] }}

3.2. Качество классификации по каждому из признаков финальной модели

{% for img in features_roc_auc %}



{% endfor %}

3.3. Доверительный интервал для индекса Джини

95%-ый доверительный интервал для индекса Джини:
• - на обучающей выборке: ({{ train_gini_confint[0] }}, {{ train_gini_confint[1] }})
• - на тестовой выборке: ({{ test_gini_confint[0] }}, {{ test_gini_confint[1] }})

3.4. P-value на коэффициенты модели

{% if p_vals is not none %}

Для признаков на обучающей выборке:

{% for val in p_vals %} {% endfor %}

Наименование признака	Значение P-value
{{ val[0] }}	{{ val[1] }}

Для признаков на тестовой выборке:

{% for val in p_vals_test %} {% endfor %}

Наименование признака	Значение P-value
{{ val[0] }}	{{ val[1] }}

{% else %}

Требуется обучить модель с параметром regularized_refit=False

{% endif %}

3.5. Одномерный анализ

Gini для обучающей выборки



Gini для тестовой выборки

3.6. Проверка на монотонность

{% for img in woe_bars %}



{% endfor %}

3.7. Проверка на люфт

{% for img in backlash_plots %}



{% endfor %}

3.8. Проверка на VIF

{% if train_vif|length > 0 %} {% for val in train_vif %} {% endfor %}

Наименование признака	Значение VIF
{{ val[0] }}	{{ val[1] }}

{% else %}

Для подсчета VIF необходимо несколько признаков

{% endif %}

3.9. PSI

{% if psi_total is not none %}

Совокупный PSI

{% for val in psi_total %} {% endfor %}

Наименование признака	Значение PSI
{{ val[0] }}	{{ val[1] }}

PSI по нецелевым событиям

{% for val in psi_zeros %} {% endfor %}

Наименование признака	Значение PSI
{{ val[0] }}	{{ val[1] }}

PSI по целевым событиям

{% for val in psi_ones %} {% endfor %}

Наименование признака	Значение PSI
{{ val[0] }}	{{ val[1] }}

Группировка по предсказаниям на обучающей выборке (совокупная)



Группировка по предсказаниям целевого и нецелевого событий на обучающей выборке



Группировка по предсказаниям на тестовой выборке (совокупная)



Группировка по предсказаниям целевого и нецелевого событий на тестовой выборке



PSI по сгруппированным предсказаниям модели

Совокупный PSI	{{ psi_binned_total }}
PSI по нецелевым событиям	{{ psi_binned_zeros }}
PSI по целевым событиям	{{ psi_binned_ones }}

{% else %}

Для подсчета PSI требуется предварительно вызвать fit() и predict_proba()

{% endif %}

4.1. Статистики по бинам предсказания

Среднее значение целевой переменной на обучающей и тестовой выборке



Статистика предсказания по обучающей выборке



{% if binned_p_stats_train is not none %} {% for val in binned_p_stats_train %} {% endfor %}

ScoreBin	count	mean	std	min	25%	50%	75%	max
{{ val[0] }}	{{ val[1] }}	{{ val[2] }}	{{ val[3] }}	{{ val[4] }}	{{ val[5] }}	{{ val[6] }}	{{ val[7] }}	{{ val[8] }}

{% endif %}

Статистика предсказания по тестовой выборке



{% if binned_p_stats_test is not none %} {% for val in binned_p_stats_test %} {% endfor %}

ScoreBin	count	mean	std	min	25%	50%	75%	max
{{ val[0] }}	{{ val[1] }}	{{ val[2] }}	{{ val[3] }}	{{ val[4] }}	{{ val[5] }}	{{ val[6] }}	{{ val[7] }}	{{ val[8] }}

{% endif %}

4.2. Корреляции по факторам, вошедшим в модель

4.3. Скоринговая карта

{% for val in scorecard %} {% endfor %}

Variable	Value	WOE	COEF	POINTS
{{ val[0] }}	{{ val[1] }}	{{ val[2] }}	{{ val[3] }}	{{ val[4] }}


Расшифровка обработки пропусков:
• __NaN__ - отдельная группа с оценкой WoE
• __NaN_0__ - отдельная группа с WoE = 0
• __NaN_maxfreq__ - добавленная в самую частую группу без оценки WoE
• __NaN_maxp__ - добавленная в группу с максимальной вероятностью без оценки WoE
• __NaN_minp__ - добавленная в группу с минимальной вероятностью без оценки WoE

Расшифровка обработки редких/неизвестных категорий:
• __Small__ - отдельная группа с оценкой WoE
• __Small_nan__ - в группу NaN
• __Small_0__ - отдельная группа с WoE = 0
• __Small_maxfreq__ - добавленная в самую частую группу без оценки WoE
• __Small_maxp__ - добавленная в группу с максимальной вероятностью без оценки WoE
• __Small_minp__ - добавленная в группу с минимальной вероятностью без оценки WoE

4.4. История отбора признаков

{% for val in feature_history %} {% endfor %}

Признак
{{ val[0] }}	{{ val[1] }}

4.5. Вклад каждой переменной в модель

{% if feature_contribution is not none %} {% if feature_contribution|length > 0 %} {% for val in feature_contribution %} {% endfor %}

Признак	Вклад в ROC AUC
{{ val[0] }}	{{ val[1] }}

{% else %}

Для подсчета требуются как минимум 2 признака в финальной модели

{% endif %} {% else %}

Требуется обучить модель с параметром regularized_refit=False

{% endif %}

5.1. Средняя прогнозная вероятность

{% if dategrouped_value is not none %} {% for val in dategrouped_value %}



{% endfor %} {% endif %}

5.2. Индекс Джини

{% if dategrouped_gini is not none %} {% for val in dategrouped_gini %}



{% endfor %} {% endif %}

5.3. Доля значений NaN

{% if dategrouped_nan is not none %} {% for val in dategrouped_nan %}



{% endfor %} {% endif %}