Работают ли классические модели скоринга?

Двухфакторная модель Альтмана

Одна из первых и наиболее простых моделей, предложенных американским экономистом Э. Альтманом для прогнозирования риска банкротства предприятий, использует два показателя деятельности предприятия: коэффициент текущей ливидности ($x_1$) и коэффициент капитализации ($x_2$). Степень риска $z$ определяется линейной комбинацией этих коэффициентов, параметры которой были рассчитаны в результате применения методов дискриминантного анализа к выборкам компаний-банкротов и успешных компаний США 60-х годов прошлого века: \[z=-0.3877-1.0736{{x}_{1}}+0.0579{{x}_{2}}\] где отрицательные значения показателя $z$ означают низкую вероятность банкротства, а положительные значения – высокую.

Модель Альтмана долгое время считалась классической при исследовании рисков, однако, возникает вопрос: насколько она применима к российским компаниям в современных экономических реалиях? Для ответа на этот вопрос были рассчитаны значения показателя $z$ для компаний, обанкротившихся в 2017 году, по данным официальной финансовой отчетности Росстата за 2016 год, и проведено их сравнение со значениями для финансово устойчивых («хороших») компаний. В результате получено значение AUC ROC ≈ 0.68 (коэффициент Gini ≈ 0.36), что соответствует относительно невысокой разделимости данных.

Можно предположить, что невысокая точность модели связана с тем, что коэффициенты модели «устарели» и требуется их пересчет на новых данных. Однако, в результате пересчёта на имеющихся выборках, используя метод логистической регрессии, получены новые коэффициенты модели: $$z=-0.88-0.20{{x}_{1}}+0.23{{x}_{2}}$$ при этом точность модели практически не изменилась. Причина этому проиллюстрирована на рис. 1.

Диаграмма рассеяния
показателей «хороших» компаний и банкротов (в логарифмическом масштабе)

Рис. 1. Диаграмма рассеяния показателей «хороших» компаний и банкротов (в логарифмическом масштабе). Пунктирной линией изображена граница классов, формируемая классической моделью Альтмана, сплошной – моделью с пересчитанными коэффициентами.

В силу линейности модели Альтмана, геометрическое место точек, где степень риска $z=const$, представляет собой прямую на плоскости $(x_1,x_2)$, а уравнение $z=0$ разделяет области «хорошего» класса и класса банкротов. На рис. 1 изображены диаграмма рассеяния данных на плоскости $(x_1,x_2)$ и границы областей классов, формируемые классической моделью Альтмана и моделью с пересчитанными коэффициентами.

Из рисунка видно, что данные «хороших» компаний и банкротов на плоскости $(x_1,x_2)$ сильно перемешаны и никакая линейная (а скорее всего, и нелинейная) модель не смогут разделить эти данные с высокой степенью точности.

Используя метод парзеновского окна, по полученным выборкам восстановлены плотности распределения показателя $z$ для «хороших» компаний и компаний-банкротов (рис. 2, вверху), ${{p}_{\text{good}}}(z)$ и ${{p}_{\text{bankrot}}}(z)$ соответственно, и рассчитана зависимость WoE (Weight of Evidence) от $z$ (рис. 2, внизу). Значение $WoE(z)$ определяет, насколько чаще данное значение $z$ встречается у хороших компаний по сравнению с компаниями-банкротами: $$WoE(z)=\ln \frac{{{p}_{\text{good}}}(z)+\varepsilon}{{{p}_{\text{bankrot}}}(z)+\varepsilon}$$ где $\varepsilon$ – регуляризующий коэффициент, позволяющий избежать деления на ноль.

Плотности распределения
степени риска по двухфакторной модели Альтмана для «хороших» компаний и компаний-банкротов

Рис. 2. Плотности распределения степени риска по двухфакторной модели Альтмана для «хороших» компаний и компаний-банкротов (вверху) и график зависимости WoE от степени риска $z$ (снизу).

Из графиков видно, что:

1) превышение значений ${{p}_{\text{bankrot}}}(z)$ над ${{p}_{\text{good}}}(z)$ наблюдается не при отрицательных $z$ (что утверждается в указаниях к интерпретации результатов работы модели), а при $z<-1.75$, что говорит о смещенности рассчитываемого показателя в сторону ложно отрицательных решений (компания с высокой вероятностью банкротства получит низкую степень риска);

2) для всех значений $z$ ниже порогового правдоподобие «хороших» компаний превышает правдоподобие банкротов, что соответствует ожидаемому поведению моделей банкротства;

3) правило «чем меньше степень риска $z$, тем ниже вероятность банкротства» не выполняется – это правило работает только в диапазоне $z\in (-4;0)$, вне этого диапазона связь степени риска $z$ с вероятностью банкротства скорее обратная.

Вывод: двухфакторная модель Альтмана, полученная еще в 60-х годах прошлого века, остаётся актуальной и в настоящее время, однако, используемые ею показатели недостаточны для высокого качества определения степени риска банкротства.

Модифицированная пятифакторная модель Альтмана

Пятифакторная модель Альтмана для частных компаний предложена в 1983 г.: $$z=0.717{{x}_{1}}+0.847{{x}_{2}}+3.107{{x}_{3}}+0.420{{x}_{4}}+0.998{{x}_{5}}$$ где $x_1$ – отношение оборотного капитала к валюте баланса; $x_2$ – отношение нераспределенной прибыли (или непокрытого убытка) к валюте баланса; $x_3$ – отношение валовой прибыли к валюте баланса; $x_4$ – отношение стоимости собственного капитала к стоимости всех обязательств; $x_5$ – отношение объема продаж к валюте баланса; $z$ – степень устойчивости компании. Чем выше значение $z$, тем меньше риск банкротства, при $z>2.9$ – риск банкротства ничтожен, при $z<1.8$ – риск банкротства высокий.

Для исследования качества этой модели также были восстановлены плотности распределения показателя $z$ для «хороших» компаний и компаний-банкротов и рассчитана зависимость $WoE(z)$ (рис. 3). Получено значение AUC ROC ≈ 0.71 (коэффициент Gini ≈ 0.42).

Плотности распределения
степени риска по модифицированной пятифакторной модели Альтмана для «хороших» компаний и компаний-банкротов

Рис. 3. Плотности распределения степени риска по модифицированной пятифакторной модели Альтмана для «хороших» компаний и компаний-банкротов (вверху) и график зависимости $WoE$ от степени риска $z$ (снизу).

Из графиков видно, что:

1) распределения ${{p}_{\text{bankrot}}}(z)$ и ${{p}_{\text{good}}}(z)$ имеют длинный правый хвост, что не позволяет с высокой точностью их оценить в области больших значений $z$ ($z>10$); более предпочтительным представляется использование логарифма показателя $z$ для оценки риска банкротства;

2) ${{p}_{\text{good}}}(z)>{{p}_{\text{bankrot}}}(z)$ практически для всех $z>3.3$, однако утверждение «чем выше значение $z$, тем ниже вероятность банкротства» может быть статистически подтверждено только в области небольших значений $z$.

В результате пересчета коэффициентов модели на имеющихся выборках данных, используя метод логистической регрессии, получены новые коэффициенты: $$z=-1.84-(-0.08{{x}_{1}}+0.08{{x}_{2}}+0.17{{x}_{3}}+0.16{{x}_{4}}+0.14{{x}_{5}})$$ Графики плотностей распределения показателя $z$ для «хороших» компаний и банкротов, а также зависимости $WoE(z)$ для этой модели приведены на рис. 4. Рассчитано значение AUC ROC ≈ 0.73 (коэффициент Gini ≈ 0.46).

Плотности распределения
степени риска по модифицированной пятифакторной модели Альтмана с пересчитанными коэффициентами

Рис. 4. Плотности распределения степени риска по модифицированной пятифакторной модели Альтмана с пересчитанными коэффициентами для «хороших» компаний и компаний-банкротов (вверху) и график зависимости $WoE$ от степени риска $z$ (снизу).

Из графиков видно, что функция $WoE(z)$ более гладкая и монотонная, следовательно, связь показателя $z$ с риском банкротства более интерпретируема: чем выше значение показателя $z$, тем ниже риск банкротства, кроме того, точность модели с пересчитанными коэффициентами выше.

Вывод: модифицированная пятифакторная модель Альтмана может быть использована для оценки риска банкротства, однако, её коэффициенты «устарели» и требуют пересчёта.

Модель Таффлера-Тишоу

Модель предложена в 1977 г. британскими учеными Р. Таффлером и Г. Тишоу: $$z=0.53{{x}_{1}}+0.13{{x}_{2}}+0.18{{x}_{3}}+0.16{{x}_{4}}$$ где $x_1$ – отношение прибыли от продаж до уплаты налога к сумме текущих обязательств; $x_2$ – отношение суммы текущих активов к общей сумме обязательств; $x_3$ – отношение суммы текущих обязательств к общей сумме активов; $x_4$ – отношение выручки к общей сумме активов; z – степень устойчивости компании. Утверждается, что чем выше значение $z$, тем ниже риск банкротства, при $z>0.3$ – у компании стабильное финансовое положение, при $z<0.2$ – у компании высокий риск банкротства.

На рис. 5 приведены графики плотностей распределения показателя $z$ для «хороших» компаний и компаний-банкротов и график зависимости $WoE(z)$. Получено значение AUC ROC ≈ 0.70 (коэффициент Gini ≈ 0.4).

Плотности распределения
степени риска по модели Таффлера-Тишоу

Рис. 5. Плотности распределения степени риска по модели Таффлера-Тишоу для «хороших» компаний и компаний-банкротов (вверху) и график зависимости $WoE$ от степени риска $z$ (снизу).

В результате пересчета коэффициентов модели на имеющихся выборках данных, используя метод логистической регрессии, получены новые коэффициенты: $$z=-0.92-(0.19{{x}_{1}}+0.37{{x}_{2}}-0.13{{x}_{3}}+0.22{{x}_{4}})$$ Графики плотностей распределения показателя $z$ и зависимости $WoE(z)$ для этой модели приведены на рис. 6. Получено значение AUC ROC ≈ 0.75 (коэффициент Gini ≈ 0.5), что превышает значения для классической модели Таффлера-Тишоу.

Плотности распределения
степени риска по модели Таффлера-Тишоу с пересчитанными коэффициентами

Рис. 6. Плотности распределения степени риска по модели Таффлера-Тишоу с пересчитанными коэффициентами для «хороших» компаний и компаний-банкротов (вверху) и график зависимости $WoE$ от степени риска $z$ (снизу).

Из графиков видно, что поведение $WoE(z)$ для модели с пересчитанными коэффициентами существенно лучше, чем для классической модели Таффлера-Тишоу.

Вывод: модель Таффлера-Тишоу имеет тот же недостаток, что и модифицированная пятифакторная модель Альтмана: длинный правый хвост и отсутствие монотонности связи между показателем $z$ и риском банкротства, однако, модель может быть существенно улучшена в результате пересчета её коэффициентов.

Модель Фулмера

Модель предложена в 1984 г. и содержит 9 факторов: $$z=-6.08+5.53{{x}_{1}}+0.21{{x}_{2}}+0.73{{x}_{3}}+1.27{{x}_{4}}-0.12{{x}_{5}}+2.34{{x}_{6}}+0.58{{x}_{7}}+1.08{{x}_{8}}+0.89{{x}_{9}}$$ где ${{x}_{1}},...,{{x}_{9}}$ – показатели, рассчитываемые на основе финансовой отчетности компании.

Утверждается, что банкротство неизбежно при $z<0$.

На рис. 7 приведены графики плотностей распределения показателя $z$ для «хороших» компаний и компаний-банкротов и график зависимости $WoE(z)$. Получено значение AUC ROC ≈ 0.64 (коэффициент Gini ≈ 0.27).

Плотности распределения
степени риска по модели Фулмера

Рис. 7. Плотности распределения степени риска по модели Фулмера для «хороших» компаний и компаний-банкротов (вверху) и график зависимости $WoE$ от степени риска $z$ (снизу).

Графики плотностей распределения показателя $z$ b зависимости $WoE(z)$ для модели с пересчитанными коэффициентами приведены на рис. 8. Получено значение AUC ROC ≈ 0.78 (коэффициент Gini ≈ 0.56), что существенно превышает значения для классической модели Фулмера.

Плотности распределения
степени риска по модели Фулмера с пересчитанными коэффициентами

Рис. 8. Плотности распределения степени риска по модели Фулмера с пересчитанными коэффициентами для «хороших» компаний и компаний-банкротов (вверху) и график зависимости $WoE$ от степени риска $z$ (снизу).

Вывод: утверждение, что банкротство неизбежно при $z<0$ не подтверждается, можно лишь утверждать, что чем выше значение показателя $z$, тем ниже риск банкротства. Модель может быть существенно улучшена в результате пересчета её коэффициентов.

Выводы и рекомендации по использованию классических моделей банкротства

Были исследованы и другие классические модели банкротства (модель Спрингейта, модель ИГЭА (Иркутская модель), модель Лиса). Каждая из моделей была обучена на имеющихся выборках «хороших» компаний и компаний-банкротов, значения показателей AUC исходных моделей и моделей с пересчитанными коэффициентам приведены в таблице.

№ п/п Модель AUC % улучшения
с исх. коэфф. с пересчит. коэфф.
1Двухфакторная модель Альтмана0.680.680.4 %
2Модифицированная пятифакторная модель Альтмана0.710.732.8 %
3Модель Таффлера-Тишоу 0.700.757.1 %
4Модель Фулмера 0.640.7821.9 %
5Модель Спрингейта 0.700.745.7 %
6Модель ИГЭА 0.68 0.737.3 %
7Модель Лиса 0.71 0.744.2 %

По результатам проведенного исследования классических моделей банкротства компаний можно сделать следующие выводы.

1) Пересчет коэффициентов моделей приводит к существенному улучшению точности лишь для моделей, содержащих большое число факторов, при этом для большинства классических моделей пересчет коэффициентов улучшает показатель AUC не более чем на 8 %. Это означает, что признаки, используемые моделями, не содержат достаточной информации, чтобы достоверно оценить финансовое состояние компании, по крайней мере, используя линейные модели.

2) Несмотря на несущественное улучшение точности большинства моделей банкротства после пересчета коэффициентов, их поведение принципиально меняется – модели демонстрируют монотонную зависимость между рассчитываемым показателем и степенью риска банкротства, в то время как для классических моделей эта зависимость, как правило, отсутствует.

3) Интерпретация показателя, рассчитываемого с помощью классических моделей (например, «при $z>2.9$ риск банкротства ничтожен», «банкротство неизбежно при $z<0$» и т.п.), в редких случаях соответствует действительности и не должна использоваться риск-аналитиками при оценивании финансового состояния компании.

Для целей реального кредитного анализа компаний на предмет наличия признаков банкротства и построения скоринговых карт, которые обязательно используются как при андеррайтинговых процедурах, так и в экспресс-продуктах типа банковских гарантий, мы применяем байесовский классификатор и LDA-модели, а в ряде случаев - сочетание обоих подходов.

Подробное описание проведенного исследования и полученных результатов приведено в статье:

А.Г.Трофимов, В.С.Козлов. Работают ли классические модели банкротства предприятий? // Банковское кредитование, 2019, 1(83), С.35-44.