Machine Learning-Based Classification of Market Phases

Introduction

The experience of the recent years as well as research results and regulatory requirements suggest the consideration of market regimes. Nevertheless, the largest part of today’s financial risk management is still based on the assumption of constant market conditions.
Currently, neither “stressed” market phases nor potential bubbles are determined in an objective way.
Machine learning procedures, however, enable a grouping according to risk aspects and a classification of the current market situation.
RiskDataScience has already developed procedures to identify market phases.
Market regimes can be determined on the basis of flexible criteria for historical time series. The current market conditions can be assigned to the respective phases. Thus, it is possible to determine if the current situation corresponds to past stress or bubble phases. In addition, historic stress scenarios can be detected in a systematic way.

Market Phases

In contrast to the efficient market theory, markets are characterized by exaggerations and panic situations (new economy, real estate bubbles,…).
Crises exhibit their own rules – like increased correlations – and behave differently from “normal” phases. In the curse of the crises since 2007/2008, the situation has changed dramatically several times (negative interest rates, quantitative easing,…).

Regulators have realized that market situations can differ in a significant way and require the consideration of stressed market phases e.g. in the

  • determination of “stressed VaR” periods
  • definition of relevant stress scenarios

In the conventional market risk management of financial institutions, however, still only uniform market conditions are considered (e.g. in conventional Monte Carlo simulations).
Historic simulations implicitly consider market phases, but they don’t provide assertions which pase applies to specific situations.
Finally, models like GARCH or ARIMA could’t establish themselves outside academic research.

The neglection of market phases implies several problems and risks.
First, a non-objective determination of stressed market phases for regulatory issues can lead to remarks and findings by internal and external auditors. Thus, eventually sensible capital relief can be denied since a less conservative approach can’t be justified in an objective way.
Also, ignoring possibly dangerous current market situations increases the risk of losses by market price fluctuations. In addition, bubbles are not detected in a timely manner and the “rules” of crises (like increased correlations) are not considered in an appropriate way.
On the other hand, a too cautious approach may result in missed opportunities.

Machine Learning Approaches

For the analysis of the relevant market data, several data science / machine learning algorithms can be considered and implemented with tools like Python, R, Weka or RapidMiner. Here, the following groups of algorithms can be discerned:

  • Unsupervised learning algorithms: These algorithms can be used for the determination of “natural” clusters and the grouping of market data according to predefined similarity criteria. This requires appropriate algorithms like kmeans or DBSCAN as well as economic and financial domain expertise. Also, outlier algorithms can be used to detect anomalous market situations, e.g. as basis for stress test scenarios.
  • Supervised learning algorithms: The algorithms (e.g. Naive Bayes) are “trained” with known data sets to classify market situations. Then, new data – and especially the current situation – can be assigned to the market phases.

For a risk-oriented analysis, market data differences (e.g. in the case of interest rates) or returns (e.g. in the case of stock prices) must be calculated from the market data time series as a basis for the further analysis. Further, a “windowing” must be conducted, viz. the relevant values of the previous days must be considered as additional variables.

Use Case: Analysis of Illustrative Market Data

The analysis described below was based on a market data set consisting of the DAX 30 index, the EURIBOR 3M interest rate, and the EURUSD FX rate. The time period was end of 2000 till end of 2016. For the calculations, consistenly daily closing prices were used as basis for the return (DAX 30, EURUSD) and difference calculations (EURIBOR 3M). Eventual structural breaches were adjusted and missing return values were replaced by zeros. The windowing extended to the last 20 days.

Time series of analyzed market data

The data set was analyzed with the clustering algorithms kmeans and DBSCAN. As a result, most points in time could be assigned to a large “normal cluster”. The rest of the data points fell into a smaller “crisis” cluster.
Since – as it was observed – crisis phases often precede “real” crashes, the procedure could be helpful as “bubble detector”.

Identified market phases

The main identified outliers were the

  • spring of 2001: Burst of the dotcom bubble
  • autumn 2001: September 11
  • autumn 2008: Lehman insolvency
    The current time period is not classified as crisis, the extraordinary situation of negative interest rates counsels caution, however.

Based on a training set of 3,000 points of time, the classification algorithms were trained and applied on a test set of 1,000 points.
An appropriate simple algorithm was Naive Bayes; with this algorithm accuracies of over 90% were reached in in-sample as well as out-of-sample tests.

Hence, an efficiend distinguishing of market phases is already realized and a usage as bubble detector possible after economically and financially sound validations.

 

The methods can be enhanced to capture more complex cases and issues, e.g. for specialized markets like the electricity market as well as patterns and rules characteristic for the high-frequency trading (HFT).

We are developing respective methods and tools and support our customers in obtaining an overall perspective of the data in use.

Contact

Dr. Dimitrios Geromichalos
Founder / CEO
RiskDataScience UG (haftungsbeschränkt)
Theresienhöhe 28, 80339 München
E-Mail: riskdatascience@web.de
Telefon: +4989244407277, Fax: +4989244407001
Twitter: @riskdatascience

Transparente Tools zum Financial Risk Management

Übersicht Problemstellung und Angebot

Financial Risks spielen auch außerhalb der großen Finanzdienstleister – etwa bei Corporates und Kommunen, aber auch im Crowd Funding und Peer to Peer Lending – eine wichtige Rolle.
Während größere Finanzdienstleister – auch auf regulatorischen Druck hin – hochkomplexe Financial Risk-Verfahren im Einsatz haben, werden außerhalb dieses Sektors oft aus Unwissen unnötig hohe Risiken eingegangen.
Financial Risk-Methoden haben sich andererseits bereits seit Jahrzehnten etabliert und müssen – je nach Geschäftsfeld – nicht unbedingt komplex sein.

RiskDataScience verfügt über lauffähige Tools zu den gängigen Financial Risks sowie zu Bewertungsverfahren elementarer Produkte.

Kunden können damit auf transparente Weise ihre eigenen Risiken bewerten und ihr Know How auf diesem Gebiet ausbauen.
Die Methoden sind alle einsehbar und können beliebig angepasst und weiterentwickelt werden.

Mit unserer kostenlosen Web-App FX Risk ermöglichen wir zudem die Berechnung von Fremdwährungsrisiken für ganze Portfolien.

Financial Risks — auch außerhalb großer Fianzdienstleister ein wichtiges Thema

Kleine Finanzdienstleister

Trotz ihres kleineren Geschäftsvolumens und oftmals spezialisierter Geschäftsmodelle sind kleine Finanzdienstleister – Banken, Versicherungen, Leasinggesellschaften und Asset Manager – prinzipiell denselben Financial Risks ausgesetzt wie verwandte große und mittelgroße Finanzdienstleister.
Regulatorisch betrachtet sind die Auflagen und der daraus resultierende Aufwand relativ gering, allerdings müssen kleine Finanzdienstleister mit einer im Allgemeinen dünnen Personaldecke auskommen und sind dementsprechend auf effiziente und robuste Verfahren angewiesen.

Wesentliche Financial Risks sind – je nach Geschäftsfeld – insbesondere Marktrisiken (aufgrund von Preis-Schwankungen bei Investment- und Funding-Produkten), Kreditrisiken (insb. bei Banken) und operationelle Risiken.
Für das Financial Risk Management wird oftmals spezialisierte Software verwendet, diese ist aber nur als „Blackbox“ verfügbar und kann weder eingesehen noch frei angepasst werden

Corporates & Kommunen

Insbesondere die Treasury-Abteilungen von Corporates, Kommunen oder gemeinnützigen Organisationen müssen beim Funding über den Kapitalmarkt oder bei diesbezüglichen Investitionen Marktrisiken in Kauf nehmen.
Entsprechend groß ist das Interesse sich über Hedges abzusichern. Hier ist man jedoch in der Regel auf das Know How von Banken angewiesen, eine unabhängige Kontrolle von Preisen und Risiken von Derivaten ist nicht immer möglich.
Die Quantifizierung operationeller Risiken ist ein weiterer Themenkreis, für den nicht immer adäquate Methoden vorhanden sind.

FinTechs

FinTechs – etwa im Bereich Crowd Funding, Peer to Peer Lending oder Robo Advisory – bieten effizient Finanzdienstleistungen an und punkten mit disruptiven Geschäftsmodellen.
Andererseits stoßen sie bei möglichen Kunden oft nach wie vor auf Akzeptanzprobleme und sehen sich möglichen künftigen regulatorischen Risiken gegenüber.

Umso wichtiger ist es hier eigenes Know How im Financial Risk aufzubauen und die Risiken für die Kunden zu minimieren bzw. transparenter zu machen:

  • Kreditrisiko: Z.B. beim Peer to Peer Lending
  • Marktrisiko: Z.B. bei Robo Advisory
  • Operationelles Risiko: Bei Payments, etc.

Financial Risk-Kategorien

Die quantifizierbaren Financial Risks lassen sich mehreren Gruppen zuordnen.

Kreditrisiken

Unter Kreditrisiken versteht man Risiken durch Kreditereignisse, wie Zahlungsausfall, Zahlungsverzug, Herabstufung der Kreditwürdigkeit oder Einfrierung der Währung.
Eine weitere Unterscheidung betrifft die Einteilung in Emittenten- (bei Anleihen), Kontrahenten- (bei Derivate-Geschäften) und Kreditausfallrisiken von Kreditnehmern i.e.S.
Die Messung von Kreditrisiken erfolgt insb. über Ratings. Diese erfordern eine hinreichend große historische Referenz-Datenbank, die quantitative (z.B. Verschuldungsgrad, Eigenkapitalquote) und qualitative Kennzahlen (z.B. Qualität des Managements, Zukunftsaussichten) für Unternehmen bekannter Bonität enthält.
Im Falle mehrerer Kredite sind zudem Ausfallkorrelationen und hieraus Diversifikationseffekte (im positiven Fall) oder Klumpenrisiken (im negativen Fall) zu beachten.

Marktrisiken

Marktrisiken resultieren aus der Möglichkeit ungünstiger Änderungen relevanter Marktparameter wie Zinsen, Wechselkurse, Credit Spreads, Aktien- und Anleihekursen, Volatilitäten oder Rohstoffpreisen.
Die Risiken manifestieren sich in Preisänderungen von Wertpapieren und Derivaten.
Marktrisiken betreffen beide Seiten der Bilanz und machen sich auch bei Finanzierungen über Kredite bemerkbar.
Im Unterschied zu den übrigen Risiken können sich bei hohen Marktrisiken auch hohe Chancen ergeben.

Operationelle Risiken

Operationelle Risiken lassen sich je nach Ursache den folgenden Kategorien zuteilen

  • Menschen: z.B. Betrug, mangelnde Kennt-nisse, Mitarbeiter-Fluktuation
  • Prozesse: z.B. Transaktionsfehler, Projekt-risiken, Reportingfehler, Bewertungsfehler
  • Systeme: z.B. Programmierfehler, Abstürze
  • Externe Ereignisse: z.B. Klagen, Diebstahl, Feuer, Überschwemmungen

Angebotene Tools

Im Folgenden werden Financial Risk-Verfahren aus dem Portfolio von RiskDataScience vorgestellt. Die funktionsfähigen Tools sind alle transparent und einsehbar und – bis auf das Kreditrating-Tool – auf VBA- bzw. Python-Basis entwickelt worden.

Kreditrating-Tool

Das Rating-Tool von RiskDataScience basiert im Gegensatz zu den übrigen Risk-Tools auf der freien Mining-Software RapidMiner (Version 5.3). Methodisch ist es an das z-Score-Modell von Altman (Regression von Kennzahlen aus Bilanzdaten) angelehnt.

Methodik

Für die Analyse der Bilanzdaten werden Data Mining-Methoden aus dem Bereich Data Science / Machine Learning genutzt. Die hierfür relevanten Supervised Learning-Algorithmen werden wie folgt eingesetzt

  • Die Algorithmen werden mit bekannten Datensätzen darauf „trainiert“ Datensätzen den jeweiligen Kategorien (insolvent gegangenes – nicht insolvent gegangenes Unternehmen) zuzuordnen
  • Unbekannte Fälle können anschließend bekannten Kategorien mit bestimmten Konfidenzen zugeordnet werden
  • Die Güte der Klassifikation wird mittels spezifischer Kennzahlen und Validierungsverfahren wie der Accuracy (Trefferquote), der Area Under the Curve (AUC; Plot Anteil True Positives über Anteil False Positives) oder Lift-Kurven (Pareto-Plot; Effektivitätstest mittels Vergleich mit Zufallsauswahl) überprüft

Vorbereitung

Aus den veröffentlichten Bilanzen und GuVs aus dem jeweiligen Jahr vor der Insolvenz müssen für das Trainings-Sample gemäß z-Score-Modell Kennzahlen wie

  • Eigenkapital / Assets
  • Gewinnrücklagen / Assets
  • EBIT / Assets
  • Eigenkapital / Schulden
  • Umsatzerlöse / Assets

ermittelt werden. Die gleichen Kennzahlen sind zudem für ein Referenz-Set nicht insolvent gegangener Unternehmen zu bilden.

Generell muss hier angemerkt werden, dass die Qualität des Rating-Verfahrens mit der Anzahl und Güte der ermittelten Daten ansteigt.

Klassifikation

Nach Ermittlung der Portfoliostruktur erfolgt ein Supervised Learning mittels Trainings-Sample (Unternehmen mit bekannter Zuordnung).
In Betracht kommt hier insb. der Algorithmus W-Logistic (modifizierte logistische Regression), aber auch Verfahren wie Rule Induction (Ermittlung von Regeln) und Random Forest (Set von zufälligen Entscheidungsbäumen).
Anschließend können die trainierten Algorithmen auf zu ratende Unternehmen zur sofortigen Klassifikation angewendet werden.

Anwendungsbeispiel

Anhand der Bilanzkennzahlen von über 50 insolvent gegangenen Unternehmen (aus dem Jahr vor der Insolvenz) sowie entsprechender nicht-insolventer Referenz-Unternehmen wurden die Kennzahlen gemäß z-Score-Modell berechnet.
Die Analyse wurde mittels des RapidMiner-Tools durchgeführt und ergab Trefferquoten von über 70%.
Auch die Area Under the Curve und die Lift-Kurven deuten auf eine hohe Rating-Güte hin (s. u.).

AUC In-Sample-Test
Lift-Kurve In-Sample-Test

Kreditrisiko-Tools

RiskDataScience bietet Routinen auf VBA-Basis zu folgenden Themen an

  • Kreditausfälle: Anhand eines vorgegebenen Ratings und einer Migrationsmatrix werden Ausfallwahrscheinlichkeiten über einen mehrjährigen Zeitraum berechnet. Zudem erfolgt u.a. die Berechnung der marginalen und kumulativen Ausfallwahrscheinlichkeit sowie der Überlebensrate.
  • Marktmethoden
    • Berechnung der impliziten Ausfallwahrscheinlichkeit aus risikolosem und tatsächlichem Zins
    • Berechnung der Ausfallwahrscheinlichkeit nach dem Merton-Modell
    • Berechnung der „gestressten“ Ausfallwahrscheinlichkeit unter Berücksichtigung von Marktkorrelationen (Basel II-Formel)
  • Ausfall-Anteil
    • Ermittlung von Fit-Kurven anhand (bilanzieller) Kennzahlen und externer Ratings als mögliche Berechnungsgrundlage für interne Ratings
    • Berechnung von Kennzahlen wie α, β und
    • Fit durch lineare oder logistische Interpolation
  • Backtesting: Gegenüberstellung von Ausfallwahrscheinlichkeiten und tatsächlichen Ausfällen zur Modell-Validierung sowie Ermittlung des Gini-Koeffizienten als Maß für die Trennschärfe des zu validierenden Rating-Verfahrens
  • Portfolio-VaR: Ermittlung des gesamten Value at Risks für ein Portfolio mit bekannten Teil-Value at Risks und bekannter Korrelationsmatrix.
    Das Verfahren ist generisch und kann auch für andere Risikoarten verwendet werden.

Marktrisiko-Tools

RiskDataScience bietet Routinen auf VBA-Basis zu folgenden Themen an

  • PV aus Cashflows
    • Berechnung des Barwerts (Present Value, PV) aus vorgegebenen Cashflow-Zeitreihen
    • Berücksichtigung unterschiedlicher Tageszählkonventionen (act/act, 30/360,…) und Diskontierungsmethoden
    • Berechnung von Clean und Dirty PV, Duration und Konvexität
  • VaR
    • Ermittlung des Value at Risks für eine vorgegebene Zahlenmenge und vorgeg. Konfidenzniveau
    • Ermittlung weiterer Kennzahlen wie Standardabweichung, Expected Shortfall und erwartete Anzahl an Ausreißern
  • Optionen
    • Preisermittlung für Call- und Put-Optionen anhand der Black-Scholes-Formel
    • Ermittlung der Sensitivitäten Delta, Gamma, Rho, Theta und des Value at Risk (VaR) auf Black-Scholes-Basis
    • Des weiteren Preisermittlung nach dem Garman-Kohlhagen-Modell
  • Stückzins
    • Berechnung des Barwerts (Present Value, PV) aus vorgegebenen Cashflow-Zeitreihen
    • Berücksichtigung unterschiedlicher Tageszählkonventionen (act/act, 30/360,…)
    • Berechnung von Clean und Dirty PV sowie des Stückzinses (Accrued Interest)
  • Zinskurven
    • Umfassendes Tool zur Berechnung von Barwert, Zinssensitivitäten (Basis Point Value, BPV) sowie des VaR auf Varianz-Kovarianz-Basis aus Cashflow-Zeitreihen, Zinskurven und der Zins-Korrelationsmatrix
    • Außerdem Ermittlung des Par Yield-Zinses und der Forward-Zinskurve
  • Zins-Derivate: Ermittlung von Barwerten unter Berücksichtigung von Zinskurven Zinskurven für die Zins-Derivate Swaps, Forward Rate Agreements (FRAs), Futures, Caps und Floors

OpRisk-Tool

Das RiskDataScience OpRisk-Tool berechnet den VaR für den Fall unkorrelierter operationeller Risiken mit bekanntem Schadensausmaß und bekannter Häufigkeit.

Angebotsstufen für eine Nutzung der Financial Risk-Tools

RiskDataScience ermöglicht Kunden die beschriebenen Verfahren effizient und unternehmensspezifisch einzusetzen und weiterzuentwickeln. Entsprechend den jeweiligen Anforderungen werden dazu folgende drei Ausbaustufen vorgeschlagen.

Stufe 1: Methodik

  • Einweisung in Methodik der jeweils relevanten Tools
  • Übergabe und Installation der vor-handenen Lösung auf VBA-Basis (OpenOffice) inkl. Dokumentation
  • Übergabe und Installation der vorhandenen RapidMiner-Lösung für Kredit-Ratings
    Kunde ist in der Lage Methodik eigenständig zu verwenden und weiterzuentwickeln.

 

Stufe 2: Customizing

  • Stufe 1 und zusätzlich
  • Eruierung der für den Kunden relevanten Risiken und Auswahl sowie ggf. Anpassung der entsprechenden Tools
  • Anfertigung einer methodischen Beschreibung mit dem gewünschten Detaillierungsgrad
  • Entwicklung einer Prozessbeschreibung für einen effizienten Einsatz
  • Kommunikation und Dokumentation der Ergebnisse an alle Stakeholder
    Kunde verfügt über gecustomizte Verfahren und Prozesse zur Analyse von Financial Risks.

 

Stufe 3: IT-Lösung

  • Stufe 1, Stufe 2 und zusätzlich
  • Spezifikation aller Anforderungen für eine automatisierte IT-Lösung
  • Vorschlag und Kontaktierung möglicher Anbieter und Unterstützung bei der Anbieter- und Tool-Auswahl
  • Unterstützung bei der Planung der Umsetzung sowie fachliche und koordinative Begleitung des Umsetzungsprojekts
  • Fachlicher Support nach Implementierung der IT-Lösung
    Kunde verfügt über automatisierte IT-Lösung für Financial Risk-Berechnungen.

 

Je nach Kundenwunsch ist eine flexible Ausgestaltung möglich. Gerne erläutern wir unseren Ansatz auch im Rahmen eines Vorab-Workshops.

Kontakt

Dr. Dimitrios Geromichalos
Founder / CEO
RiskDataScience UG (haftungsbeschränkt)
Theresienhöhe 28, 80339 München
E-Mail: riskdatascience@web.de
Telefon: +4989244407277, Fax: +4989244407001
Twitter: @riskdatascience