Machine Learning-Based Classification of Market Phases

Introduction

The experience of the recent years as well as research results and regulatory requirements suggest the consideration of market regimes. Nevertheless, the largest part of today’s financial risk management is still based on the assumption of constant market conditions.
Currently, neither “stressed” market phases nor potential bubbles are determined in an objective way.
Machine learning procedures, however, enable a grouping according to risk aspects and a classification of the current market situation.
RiskDataScience has already developed procedures to identify market phases.
Market regimes can be determined on the basis of flexible criteria for historical time series. The current market conditions can be assigned to the respective phases. Thus, it is possible to determine if the current situation corresponds to past stress or bubble phases. In addition, historic stress scenarios can be detected in a systematic way.

Market Phases

In contrast to the efficient market theory, markets are characterized by exaggerations and panic situations (new economy, real estate bubbles,…).
Crises exhibit their own rules – like increased correlations – and behave differently from “normal” phases. In the curse of the crises since 2007/2008, the situation has changed dramatically several times (negative interest rates, quantitative easing,…).

Regulators have realized that market situations can differ in a significant way and require the consideration of stressed market phases e.g. in the

  • determination of “stressed VaR” periods
  • definition of relevant stress scenarios

In the conventional market risk management of financial institutions, however, still only uniform market conditions are considered (e.g. in conventional Monte Carlo simulations).
Historic simulations implicitly consider market phases, but they don’t provide assertions which pase applies to specific situations.
Finally, models like GARCH or ARIMA could’t establish themselves outside academic research.

The neglection of market phases implies several problems and risks.
First, a non-objective determination of stressed market phases for regulatory issues can lead to remarks and findings by internal and external auditors. Thus, eventually sensible capital relief can be denied since a less conservative approach can’t be justified in an objective way.
Also, ignoring possibly dangerous current market situations increases the risk of losses by market price fluctuations. In addition, bubbles are not detected in a timely manner and the “rules” of crises (like increased correlations) are not considered in an appropriate way.
On the other hand, a too cautious approach may result in missed opportunities.

Machine Learning Approaches

For the analysis of the relevant market data, several data science / machine learning algorithms can be considered and implemented with tools like Python, R, Weka or RapidMiner. Here, the following groups of algorithms can be discerned:

  • Unsupervised learning algorithms: These algorithms can be used for the determination of “natural” clusters and the grouping of market data according to predefined similarity criteria. This requires appropriate algorithms like kmeans or DBSCAN as well as economic and financial domain expertise. Also, outlier algorithms can be used to detect anomalous market situations, e.g. as basis for stress test scenarios.
  • Supervised learning algorithms: The algorithms (e.g. Naive Bayes) are “trained” with known data sets to classify market situations. Then, new data – and especially the current situation – can be assigned to the market phases.

For a risk-oriented analysis, market data differences (e.g. in the case of interest rates) or returns (e.g. in the case of stock prices) must be calculated from the market data time series as a basis for the further analysis. Further, a “windowing” must be conducted, viz. the relevant values of the previous days must be considered as additional variables.

Use Case: Analysis of Illustrative Market Data

The analysis described below was based on a market data set consisting of the DAX 30 index, the EURIBOR 3M interest rate, and the EURUSD FX rate. The time period was end of 2000 till end of 2016. For the calculations, consistenly daily closing prices were used as basis for the return (DAX 30, EURUSD) and difference calculations (EURIBOR 3M). Eventual structural breaches were adjusted and missing return values were replaced by zeros. The windowing extended to the last 20 days.

Time series of analyzed market data

The data set was analyzed with the clustering algorithms kmeans and DBSCAN. As a result, most points in time could be assigned to a large “normal cluster”. The rest of the data points fell into a smaller “crisis” cluster.
Since – as it was observed – crisis phases often precede “real” crashes, the procedure could be helpful as “bubble detector”.

Identified market phases

The main identified outliers were the

  • spring of 2001: Burst of the dotcom bubble
  • autumn 2001: September 11
  • autumn 2008: Lehman insolvency
    The current time period is not classified as crisis, the extraordinary situation of negative interest rates counsels caution, however.

Based on a training set of 3,000 points of time, the classification algorithms were trained and applied on a test set of 1,000 points.
An appropriate simple algorithm was Naive Bayes; with this algorithm accuracies of over 90% were reached in in-sample as well as out-of-sample tests.

Hence, an efficiend distinguishing of market phases is already realized and a usage as bubble detector possible after economically and financially sound validations.

 

The methods can be enhanced to capture more complex cases and issues, e.g. for specialized markets like the electricity market as well as patterns and rules characteristic for the high-frequency trading (HFT).

We are developing respective methods and tools and support our customers in obtaining an overall perspective of the data in use.

Contact

Dr. Dimitrios Geromichalos
Founder / CEO
RiskDataScience UG (haftungsbeschränkt)
Theresienhöhe 28, 80339 München
E-Mail: riskdatascience@web.de
Telefon: +4989244407277, Fax: +4989244407001
Twitter: @riskdatascience

The Risk of Data Science – Calculating a Classification Value at Risk

Classification algorithms are widely used for detecting a diverse amount of possibly negative events, like fraud or insolvencies.
The reliability of the classifications is generally measured with key figures like accuracy, precision or recall.

Companies using classification algorithms, however, are generally also interested in the actual financial extent of the damage.
Here, they also are often not only interested in the expected extent, but also in the possible extent for negative worst case scenarios.
Hence, classical risk figures for classification predictions (like the Value at Risk; VaR) are very useful.

The follwing text describes an approach for obtaining a Classification VaR (for False Negatives) from a conventional confusion matrix.

The calculation is based on the following assumptions:

  • The False Negative rate is known from the model validation
  • False Negatives are independent and binomially distributed
  • The extent (for single events) and distribution of the possible damages is known

Based on these assumptions, the Classification VaR can be calculated via a Monte Carlo simulation. Here, one has to take care that the calculations can become very fast very time consuming, since many scenarios are necessary to capture high confidence levels.

RiskDataScience developed a Monte Carlo simulation for calculating the Classification VaR and applied it to the following case.

Starting from a known confusion matrix, the appropriate TP, TN, FP and FN rates are calculated. It is assumed that the detection of harmful events (True Positives) prevents the company from financial losses. However, damages are caused due to undetected False Negatives.

The damage extents of the example belong to several known damage classes, each one occuring with a known probability of 10%.

The new – unknown – sample consists of 17,926 instances. In order to calculate the Classification VaR at a confidence level of 95%, a Monte Carlo simulation with 1,000 scenarios was started. In each scenario, the value for each instance was randomly obtained and summed up. The scenarios were sorted and the VaR was directly retrieved from the appropriate scenario.

In this case, the Classification VaR at 95% is € 42 mn, while the mean expected loss would be just € 36 mn; hence one expects at least an additional damage of € 6 mn in the 5% worst case scenarios.

The method can be enhanced to capture more complex cases.

We have developed respective methods and tools and support our customers in obtaining an overall risk perspective of the data science procedures in use.

Contact

Dr. Dimitrios Geromichalos
Founder / CEO
RiskDataScience UG (haftungsbeschränkt)
Theresienhöhe 28, 80339 München
E-Mail: riskdatascience@web.de
Telefon: +4989244407277, Fax: +4989244407001
Twitter: @riskdatascience

Transparente Tools zum Financial Risk Management

Übersicht Problemstellung und Angebot

Financial Risks spielen auch außerhalb der großen Finanzdienstleister – etwa bei Corporates und Kommunen, aber auch im Crowd Funding und Peer to Peer Lending – eine wichtige Rolle.
Während größere Finanzdienstleister – auch auf regulatorischen Druck hin – hochkomplexe Financial Risk-Verfahren im Einsatz haben, werden außerhalb dieses Sektors oft aus Unwissen unnötig hohe Risiken eingegangen.
Financial Risk-Methoden haben sich andererseits bereits seit Jahrzehnten etabliert und müssen – je nach Geschäftsfeld – nicht unbedingt komplex sein.

RiskDataScience verfügt über lauffähige Tools zu den gängigen Financial Risks sowie zu Bewertungsverfahren elementarer Produkte.

Kunden können damit auf transparente Weise ihre eigenen Risiken bewerten und ihr Know How auf diesem Gebiet ausbauen.
Die Methoden sind alle einsehbar und können beliebig angepasst und weiterentwickelt werden.

Mit unserer kostenlosen Web-App FX Risk ermöglichen wir zudem die Berechnung von Fremdwährungsrisiken für ganze Portfolien.

Financial Risks — auch außerhalb großer Fianzdienstleister ein wichtiges Thema

Kleine Finanzdienstleister

Trotz ihres kleineren Geschäftsvolumens und oftmals spezialisierter Geschäftsmodelle sind kleine Finanzdienstleister – Banken, Versicherungen, Leasinggesellschaften und Asset Manager – prinzipiell denselben Financial Risks ausgesetzt wie verwandte große und mittelgroße Finanzdienstleister.
Regulatorisch betrachtet sind die Auflagen und der daraus resultierende Aufwand relativ gering, allerdings müssen kleine Finanzdienstleister mit einer im Allgemeinen dünnen Personaldecke auskommen und sind dementsprechend auf effiziente und robuste Verfahren angewiesen.

Wesentliche Financial Risks sind – je nach Geschäftsfeld – insbesondere Marktrisiken (aufgrund von Preis-Schwankungen bei Investment- und Funding-Produkten), Kreditrisiken (insb. bei Banken) und operationelle Risiken.
Für das Financial Risk Management wird oftmals spezialisierte Software verwendet, diese ist aber nur als „Blackbox“ verfügbar und kann weder eingesehen noch frei angepasst werden

Corporates & Kommunen

Insbesondere die Treasury-Abteilungen von Corporates, Kommunen oder gemeinnützigen Organisationen müssen beim Funding über den Kapitalmarkt oder bei diesbezüglichen Investitionen Marktrisiken in Kauf nehmen.
Entsprechend groß ist das Interesse sich über Hedges abzusichern. Hier ist man jedoch in der Regel auf das Know How von Banken angewiesen, eine unabhängige Kontrolle von Preisen und Risiken von Derivaten ist nicht immer möglich.
Die Quantifizierung operationeller Risiken ist ein weiterer Themenkreis, für den nicht immer adäquate Methoden vorhanden sind.

FinTechs

FinTechs – etwa im Bereich Crowd Funding, Peer to Peer Lending oder Robo Advisory – bieten effizient Finanzdienstleistungen an und punkten mit disruptiven Geschäftsmodellen.
Andererseits stoßen sie bei möglichen Kunden oft nach wie vor auf Akzeptanzprobleme und sehen sich möglichen künftigen regulatorischen Risiken gegenüber.

Umso wichtiger ist es hier eigenes Know How im Financial Risk aufzubauen und die Risiken für die Kunden zu minimieren bzw. transparenter zu machen:

  • Kreditrisiko: Z.B. beim Peer to Peer Lending
  • Marktrisiko: Z.B. bei Robo Advisory
  • Operationelles Risiko: Bei Payments, etc.

Financial Risk-Kategorien

Die quantifizierbaren Financial Risks lassen sich mehreren Gruppen zuordnen.

Kreditrisiken

Unter Kreditrisiken versteht man Risiken durch Kreditereignisse, wie Zahlungsausfall, Zahlungsverzug, Herabstufung der Kreditwürdigkeit oder Einfrierung der Währung.
Eine weitere Unterscheidung betrifft die Einteilung in Emittenten- (bei Anleihen), Kontrahenten- (bei Derivate-Geschäften) und Kreditausfallrisiken von Kreditnehmern i.e.S.
Die Messung von Kreditrisiken erfolgt insb. über Ratings. Diese erfordern eine hinreichend große historische Referenz-Datenbank, die quantitative (z.B. Verschuldungsgrad, Eigenkapitalquote) und qualitative Kennzahlen (z.B. Qualität des Managements, Zukunftsaussichten) für Unternehmen bekannter Bonität enthält.
Im Falle mehrerer Kredite sind zudem Ausfallkorrelationen und hieraus Diversifikationseffekte (im positiven Fall) oder Klumpenrisiken (im negativen Fall) zu beachten.

Marktrisiken

Marktrisiken resultieren aus der Möglichkeit ungünstiger Änderungen relevanter Marktparameter wie Zinsen, Wechselkurse, Credit Spreads, Aktien- und Anleihekursen, Volatilitäten oder Rohstoffpreisen.
Die Risiken manifestieren sich in Preisänderungen von Wertpapieren und Derivaten.
Marktrisiken betreffen beide Seiten der Bilanz und machen sich auch bei Finanzierungen über Kredite bemerkbar.
Im Unterschied zu den übrigen Risiken können sich bei hohen Marktrisiken auch hohe Chancen ergeben.

Operationelle Risiken

Operationelle Risiken lassen sich je nach Ursache den folgenden Kategorien zuteilen

  • Menschen: z.B. Betrug, mangelnde Kennt-nisse, Mitarbeiter-Fluktuation
  • Prozesse: z.B. Transaktionsfehler, Projekt-risiken, Reportingfehler, Bewertungsfehler
  • Systeme: z.B. Programmierfehler, Abstürze
  • Externe Ereignisse: z.B. Klagen, Diebstahl, Feuer, Überschwemmungen

Angebotene Tools

Im Folgenden werden Financial Risk-Verfahren aus dem Portfolio von RiskDataScience vorgestellt. Die funktionsfähigen Tools sind alle transparent und einsehbar und – bis auf das Kreditrating-Tool – auf VBA- bzw. Python-Basis entwickelt worden.

Kreditrating-Tool

Das Rating-Tool von RiskDataScience basiert im Gegensatz zu den übrigen Risk-Tools auf der freien Mining-Software RapidMiner (Version 5.3). Methodisch ist es an das z-Score-Modell von Altman (Regression von Kennzahlen aus Bilanzdaten) angelehnt.

Methodik

Für die Analyse der Bilanzdaten werden Data Mining-Methoden aus dem Bereich Data Science / Machine Learning genutzt. Die hierfür relevanten Supervised Learning-Algorithmen werden wie folgt eingesetzt

  • Die Algorithmen werden mit bekannten Datensätzen darauf „trainiert“ Datensätzen den jeweiligen Kategorien (insolvent gegangenes – nicht insolvent gegangenes Unternehmen) zuzuordnen
  • Unbekannte Fälle können anschließend bekannten Kategorien mit bestimmten Konfidenzen zugeordnet werden
  • Die Güte der Klassifikation wird mittels spezifischer Kennzahlen und Validierungsverfahren wie der Accuracy (Trefferquote), der Area Under the Curve (AUC; Plot Anteil True Positives über Anteil False Positives) oder Lift-Kurven (Pareto-Plot; Effektivitätstest mittels Vergleich mit Zufallsauswahl) überprüft

Vorbereitung

Aus den veröffentlichten Bilanzen und GuVs aus dem jeweiligen Jahr vor der Insolvenz müssen für das Trainings-Sample gemäß z-Score-Modell Kennzahlen wie

  • Eigenkapital / Assets
  • Gewinnrücklagen / Assets
  • EBIT / Assets
  • Eigenkapital / Schulden
  • Umsatzerlöse / Assets

ermittelt werden. Die gleichen Kennzahlen sind zudem für ein Referenz-Set nicht insolvent gegangener Unternehmen zu bilden.

Generell muss hier angemerkt werden, dass die Qualität des Rating-Verfahrens mit der Anzahl und Güte der ermittelten Daten ansteigt.

Klassifikation

Nach Ermittlung der Portfoliostruktur erfolgt ein Supervised Learning mittels Trainings-Sample (Unternehmen mit bekannter Zuordnung).
In Betracht kommt hier insb. der Algorithmus W-Logistic (modifizierte logistische Regression), aber auch Verfahren wie Rule Induction (Ermittlung von Regeln) und Random Forest (Set von zufälligen Entscheidungsbäumen).
Anschließend können die trainierten Algorithmen auf zu ratende Unternehmen zur sofortigen Klassifikation angewendet werden.

Anwendungsbeispiel

Anhand der Bilanzkennzahlen von über 50 insolvent gegangenen Unternehmen (aus dem Jahr vor der Insolvenz) sowie entsprechender nicht-insolventer Referenz-Unternehmen wurden die Kennzahlen gemäß z-Score-Modell berechnet.
Die Analyse wurde mittels des RapidMiner-Tools durchgeführt und ergab Trefferquoten von über 70%.
Auch die Area Under the Curve und die Lift-Kurven deuten auf eine hohe Rating-Güte hin (s. u.).

AUC In-Sample-Test
Lift-Kurve In-Sample-Test

Kreditrisiko-Tools

RiskDataScience bietet Routinen auf VBA-Basis zu folgenden Themen an

  • Kreditausfälle: Anhand eines vorgegebenen Ratings und einer Migrationsmatrix werden Ausfallwahrscheinlichkeiten über einen mehrjährigen Zeitraum berechnet. Zudem erfolgt u.a. die Berechnung der marginalen und kumulativen Ausfallwahrscheinlichkeit sowie der Überlebensrate.
  • Marktmethoden
    • Berechnung der impliziten Ausfallwahrscheinlichkeit aus risikolosem und tatsächlichem Zins
    • Berechnung der Ausfallwahrscheinlichkeit nach dem Merton-Modell
    • Berechnung der „gestressten“ Ausfallwahrscheinlichkeit unter Berücksichtigung von Marktkorrelationen (Basel II-Formel)
  • Ausfall-Anteil
    • Ermittlung von Fit-Kurven anhand (bilanzieller) Kennzahlen und externer Ratings als mögliche Berechnungsgrundlage für interne Ratings
    • Berechnung von Kennzahlen wie α, β und
    • Fit durch lineare oder logistische Interpolation
  • Backtesting: Gegenüberstellung von Ausfallwahrscheinlichkeiten und tatsächlichen Ausfällen zur Modell-Validierung sowie Ermittlung des Gini-Koeffizienten als Maß für die Trennschärfe des zu validierenden Rating-Verfahrens
  • Portfolio-VaR: Ermittlung des gesamten Value at Risks für ein Portfolio mit bekannten Teil-Value at Risks und bekannter Korrelationsmatrix.
    Das Verfahren ist generisch und kann auch für andere Risikoarten verwendet werden.

Marktrisiko-Tools

RiskDataScience bietet Routinen auf VBA-Basis zu folgenden Themen an

  • PV aus Cashflows
    • Berechnung des Barwerts (Present Value, PV) aus vorgegebenen Cashflow-Zeitreihen
    • Berücksichtigung unterschiedlicher Tageszählkonventionen (act/act, 30/360,…) und Diskontierungsmethoden
    • Berechnung von Clean und Dirty PV, Duration und Konvexität
  • VaR
    • Ermittlung des Value at Risks für eine vorgegebene Zahlenmenge und vorgeg. Konfidenzniveau
    • Ermittlung weiterer Kennzahlen wie Standardabweichung, Expected Shortfall und erwartete Anzahl an Ausreißern
  • Optionen
    • Preisermittlung für Call- und Put-Optionen anhand der Black-Scholes-Formel
    • Ermittlung der Sensitivitäten Delta, Gamma, Rho, Theta und des Value at Risk (VaR) auf Black-Scholes-Basis
    • Des weiteren Preisermittlung nach dem Garman-Kohlhagen-Modell
  • Stückzins
    • Berechnung des Barwerts (Present Value, PV) aus vorgegebenen Cashflow-Zeitreihen
    • Berücksichtigung unterschiedlicher Tageszählkonventionen (act/act, 30/360,…)
    • Berechnung von Clean und Dirty PV sowie des Stückzinses (Accrued Interest)
  • Zinskurven
    • Umfassendes Tool zur Berechnung von Barwert, Zinssensitivitäten (Basis Point Value, BPV) sowie des VaR auf Varianz-Kovarianz-Basis aus Cashflow-Zeitreihen, Zinskurven und der Zins-Korrelationsmatrix
    • Außerdem Ermittlung des Par Yield-Zinses und der Forward-Zinskurve
  • Zins-Derivate: Ermittlung von Barwerten unter Berücksichtigung von Zinskurven Zinskurven für die Zins-Derivate Swaps, Forward Rate Agreements (FRAs), Futures, Caps und Floors

OpRisk-Tool

Das RiskDataScience OpRisk-Tool berechnet den VaR für den Fall unkorrelierter operationeller Risiken mit bekanntem Schadensausmaß und bekannter Häufigkeit.

Angebotsstufen für eine Nutzung der Financial Risk-Tools

RiskDataScience ermöglicht Kunden die beschriebenen Verfahren effizient und unternehmensspezifisch einzusetzen und weiterzuentwickeln. Entsprechend den jeweiligen Anforderungen werden dazu folgende drei Ausbaustufen vorgeschlagen.

Stufe 1: Methodik

  • Einweisung in Methodik der jeweils relevanten Tools
  • Übergabe und Installation der vor-handenen Lösung auf VBA-Basis (OpenOffice) inkl. Dokumentation – bzw. je nach Kundenanforderung Unterstützung der Implementierung vor Ort
  • Übergabe und Installation der vorhandenen RapidMiner-Lösung für Kredit-Ratings – bzw. je nach Kundenanforderung Unterstützung der Implementierung vor Ort
    Kunde ist in der Lage Methodik eigenständig zu verwenden und weiterzuentwickeln.

 

Stufe 2: Customizing

  • Stufe 1 und zusätzlich
  • Eruierung der für den Kunden relevanten Risiken und Auswahl sowie ggf. Anpassung der entsprechenden Tools
  • Anfertigung einer methodischen Beschreibung mit dem gewünschten Detaillierungsgrad
  • Entwicklung einer Prozessbeschreibung für einen effizienten Einsatz
  • Kommunikation und Dokumentation der Ergebnisse an alle Stakeholder
    Kunde verfügt über gecustomizte Verfahren und Prozesse zur Analyse von Financial Risks.

 

Stufe 3: IT-Lösung

  • Stufe 1, Stufe 2 und zusätzlich
  • Spezifikation aller Anforderungen für eine automatisierte IT-Lösung
  • Vorschlag und Kontaktierung möglicher Anbieter und Unterstützung bei der Anbieter- und Tool-Auswahl
  • Unterstützung bei der Planung der Umsetzung sowie fachliche und koordinative Begleitung des Umsetzungsprojekts
  • Fachlicher Support nach Implementierung der IT-Lösung
    Kunde verfügt über automatisierte IT-Lösung für Financial Risk-Berechnungen.

 

Je nach Kundenwunsch ist eine flexible Ausgestaltung möglich. Gerne erläutern wir unseren Ansatz auch im Rahmen eines Vorab-Workshops.

Kontakt

Dr. Dimitrios Geromichalos
Founder / CEO
RiskDataScience UG (haftungsbeschränkt)
Theresienhöhe 28, 80339 München
E-Mail: riskdatascience@web.de
Telefon: +4989244407277, Fax: +4989244407001
Twitter: @riskdatascience

Machine Learning-basierte Einstufung und Klassifikation regulatorischer Anforderungen

Übersicht Problemstellung und Angebot

Die im Zuge der Finanzkrise ab 2007 beschlossenen Regularien stellen Banken vor kaum zu bewältigende Herausforderungen. Gleichzeitig stehen den Banken beträchtliche Wissensressourcen zur Verfügung, die für die Bewältigung der Aufgaben genutzt werden können, aufgrund ihres Umfangs und ihrer Komplexität jedoch sehr aufwendige Analysen erfordern. Machine Learning-Verfahren ermöglichen die Nutzung der vorhandenen Wissensressourcen mit einer bisher nicht dagewesenen Effizienz und Effektivität.
RiskDataScience verfügt diesbezüglich über bereits entwickelte Kategorien und Algorithmen zur Klassifizierung und Gruppierung von Texten mit regulatorischem Bezug. Der regulatorische Einsatz von Machine Learning-Verfahren kann hierbei flexibel ausgestaltet werden.
Damit können Zusammenhänge zwischen den Regularien erkannt, Stakeholder, Verfahren und Projektabhängigkeiten frühzeitig identifiziert und Probleme antizipiert und vermieden werden. Banken können zudem Projektkosten senken und Planungen optimieren. Außerdem wird eine zeitnahe Einstufung der Auswirkungen erleichtert.

Regulatorische Herausforderungen

Regularien wie IFRS 9, BCBS 239, FTRB, IRRBB oder die MaRisk-Novelle 2016 erfordern grundlegende Änderungen in den Methoden, Prozessen und/oder Systemen der Banken. Viele Regularien haben zudem weitreichende Auswirkungen auf die Risiken, das Eigenkapital und damit das Geschäftsmodell der betroffenen Banken. Die große Anzahl der finalen bzw. in Konsultation befindlichen Regularien gestaltet ein angemessenes Monitoring der Anforderungen und Auswirkungen schwierig.

Weitere Komplikationen ergeben sich aus der Interaktion der Anforderungen. Die Regularien können verschiedene, miteinander zusammenhängende, Bereiche der Banken, wie Risk, Handel, Finance oder die IT betreffen. Bereits laufende Projekte (inklusive der Projektziele) können ebenfalls von Regularien betroffen sein und müssen ggf. angepasst werden. Bei regulatorischen Umsetzungsprojekten kann es daher zu zeitlichen und inhaltlichen Abhängigkeiten sowie Zielkonflikten zwischen den Projekten kommen.

Dementsprechend finden in den Banken unzählige Vorstudien und Umsetzungsprojekte statt. Zahlreiche Beratungsunternehmen führen hierbei Projekte durch, die sich oft durch lange Laufzeiten und einen hohen Ressourcenbedarf auszeichnen. Die Projekte binden außerdem interne Ressourcen und verschärfen bereits vorhandene Personalengpässe.
Generell ist die externe Unterstützung kostspielig und erhöht den Koordinationsaufwand, insbesondere bei mehreren Dienstleistern. Fehler in Vorstudien und Projekt-Anfangsphasen lassen sich zudem nur schwer korrigieren. Aufgrund der hohen Projekt-Komplexität besteht schließlich das Risiko, dass Auswirkungen und Interdependenzen nicht rechtzeitig erkannt werden.

Wissensressourcen zur Aufgabenbewältigung

Als externe Ressourcen stehen den Banken zunächst Originaltexte der Regularien sowie der Konsultationen zur Verfügung, die für gewöhnlich frei erhältlich sind. Zahlreiche einschlägige Online-Portale veröffentlichen regelmäßig Artikel über Inhalt und Auswirkungen der regulatorischen Anforderungen. Verschiedene Beratungsunternehmen, insbesondere die Big 4, stellen den Banken außerdem freie Artikel, Whitepapers und Newsletters zur Verfügung. Somit kann dann Internet in gewissem Umfang bereits als Medium für Vorab-Analysen aufgefasst werden.

Intern haben die Banken bereits umfangreiche Erfahrungen durch bereits abgeschlossene oder aktuell laufende Projekte gesammelt, wie Projektdokumentationen oder Lessons Learned. Banken verfügen zusätzlich über umfangreiche Dokumentationen der eingesetzten Methoden, Prozesse und Systeme sowie der Zuständigkeiten und organisatorischen Gegebenheiten. Interne Blogs, etc. bündeln darüber hinaus die Expertise der Mitarbeiter. Teil-Analysen sind damit bereits in beträchtlichem Umfang vorhanden.

Wissensnutzung durch Machine Learning-Verfahren

Methoden und Tools

Für die Analyse der regulatorischen sowie der sich hierauf beziehenden Texte kommen verschiedene Text Mining-Methoden aus dem Bereich Data Science / Machine Learning in Betracht, die sich in folgende Kategorien einteilen lassen.

  • Supervised Learning: Die Algorithmen werden mit bekannten Datensätzen darauf „trainiert“ Texte den jeweiligen Regularien zuzuordnen. „Unbekannte“ Texte können anschließend bekannten Regularien mit bestimmten Konfidenzen zugeordnet werden. Diese Verfahren eignen sich insbesondere zur Zuordnung neuer Texte zu bereits bekannten Regularien sowie zur Identifizierung von Ähnlichkeits-Kriterien (Stopword-Listen, s.u.).
  • Unsupervised Learning: Hierbei werden „natürliche“ Cluster gebildet, die Regularien können unmittelbar gemäß Ähnlichkeitskriterien gruppiert werden. Neue Regularien können damit mit bereits bekannten verglichen werden.

Die Analysen erfordern Programme auf der Basis entsprechender Analysetools, wie z.B. R oder RapidMiner.

Mining-Vorbereitung

Der erste Schritt ist die Bildung von Ähnlichkeits-Kategorien anhand derer Ähnlichkeiten und Zusammenhänge festgestellt werden sollen. Mögliche Kategorien sind z.B. Risikobezug, Auswirkung auf Kapital, Organisations-Aspekte oder Zielgruppen. Die Bildung der Kategorien sowie der entsprechenden Wortlisten erfordert fundierte fachliche Expertise

Auf Basis der Kategorien sind Wortlisten (bzw. Stopword-Listen, d.h. Ausschlusslisten) zu bilden, anhand derer die Analysen durchgeführt werden sollen. Die eingelesenen und vorverarbeiteten Texte müssen gemäß der zu untersuchenden gefiltert werden.

Mining-Durchführung

Basis für die Mining-Durchführung sind die aus den gefilterten Texten gebildeten Term Document Matrices.
Nach Anpassung der Stopwortlisten können „neue“ Regularien mit bereits bekannten „Backbone-Regularien“ verglichen werden. Die Resultate können dazu verwendet werden die Stopwortlisten weiter zu optimieren und z.B. in Form von Spinnendiagrammen dargestellt werden.
Mit den optimierten Stopwortlisten können anschließend Gruppierungen vorgenommen und in Form von Baumdiagrammen dargestellt werden.

Vorteile einer automatisierten Untersuchung

Kostensenkung

Regulatorische Umsetzungsprojekte sind für Banken einer der größten Kostentreiber. Mit einem Bedarf an mehreren hundert Mitarbeitern können die Kosten im dreistelligen Millionenbereich liegen. Dementsprechend sind die Vorstudien hierzu von großer Bedeutung. Diese beinhalten u.a. die Dokumentklassifikation, Stakeholderermittlung, Relevanzeinstufung, Gap-Analyse und Planung der Umsetzung. Vorstudien sind ihrerseits kostspielig und wirken sich darüber hinaus über die Planung auf die Kosten der Umsetzungsprojekte aus.
Die Kosten automatisierter Analysen sind vergleichsweise marginal. Dennoch können mehrere Aufgaben von Vorstudien, wie die Dokumentklassifikation, die Stakeholderermittlung oder Relevanzeinstufung mit übernommen und optimiert werden.
Damit sinken die Kosten von Vorstudien aufgrund des geringeren Personalbedarfs. Frei werdende Mittel können  effektiver eingesetzt werden, indem z.B. weniger und dafür erfahrene Berater engagiert werden.
Zudem kann die Planung der Umsetzung hinsichtlich möglicherweise irrelevanter Punkte kontrolliert werden.

Fehlerreduktion

Automatische Analysen stellen eine effiziente Zusatzkontrolle dar, die dazu beiträgt Projektrisiken – etwa durch Planungsfehler – zu minimieren.
Nichttriviale – und möglicherweise übersehene – Interdependenzen zwischen Programmen und Projekten können identifiziert und in der Planung berücksichtigt werden.
Ergebnisse von Vorstudien und Aussagen externer Dienstleister können damit eigenständig überprüft werden.

Antizipation

Banken werden mit ständig neuen Konsultationspapieren konfrontiert, zu denen sie Stellung beziehen müssen. Eine rechtzeitige Analyse aller Aspekte ist kostspielig und fehleranfällig.
Automatische Analysen können hingegen per definitionem sehr schnell und standardisiert durchgeführt werden. Damit können Auswirkungen auf das Geschäftsmodell rechtzeitig antizipiert und in die Stellungnahmen einbezogen werden.

Anwendungsbeispiel: Analyse der neuen MaRisk-Novelle 2016

Das im Folgenden beschriebene Anwendungsbeispiel basiert auf einem bereits entwickelten Prototypen (MVP) und extern verfügbaren Daten. Obwohl auch damit bereits die unten skizzierten Einsichten gewonnen werden können, wird der volle Nutzen erst mit der Analyse zusätzlicher bankinterner Texte erreicht.

Allgemeines

Mit einem RapidMiner-Prototypen wurden Ähnlichkeiten zwischen der MaRisk-Novelle 2016 sowie BCBS 239, FRTB, IRRBB, Prudent Valuation und SA-CCR untersucht.
Die Analysen wurden für die von RiskDataScience entwickelten Ähnlichkeitskategorien „Data“ (Datenbezug), „Function“ (Bank-Einheiten), Impact (Auswirkungen auf Projekte und Eigenkapital), Overall (allgemein), Regul (Regulatoren und Zielgruppen) und Risk (Risikoarten und Methoden) durchgeführt.
Die dargestellten Tagclouds geben einen exemplarischen Überblick über den Inhalt einiger Textkorpi.

Tagcloud Textkorpus FRTB

 

Tagcloud Textkorpus MaRisk-Novelle 2016

 

Tagcloud Textkorpus BCBS 239

Bereits anhand der Tagclouds ist somit eine starke Ähnlichkeit zwischen der MaRisk-Novelle 2016 und BCBS 239 (im Gegensatz zu FRTB) ersichtlich.

Textklassifikation

Die RapidMiner-Lösung wurde mit Textkorpi zu den Regularien BCBS 239, Prudent Valuation, IFRS 9, FRTB, IRRBB und SA-CCR trainiert.
Die Texte zur MaRisk-Novelle 2016 wurden als „unbekannt“ angenommen und vom trainierten Algorithmus den jeweiligen „bekannten“ Regularien zugeordnet. Die Visualisierung erfolgte mittels Spinnendiagrammen.

Wie erwartet gibt es in allen Bereichen eine starke Ähnlichkeit zwischen der MaRisk-Novelle 2016 und BCBS 239.

Textclustering

Im Rahmen der Validierung der Textklassifikation wurden die Wortlisten für die Ähnlichkeitskategorien soweit optimiert, bis sie für ein Clustering verwendet werden konnten.
Beim Clustering konnten alle betrachteten Regularien zugleich nach Ähnlichkeiten bzgl. der jeweiligen Kategorie gruppiert werden.
Durch Variation der Cluster-Größe im entsprechenden RapidMiner-Algorithmus wurde eine hierarchische Struktur aufgebaut und als Baumdiagramm visualisiert.

Auch hier gibt es starke Ähnlichkeiten zwischen der MaRisk-Novelle 2016 und BCBS 239.  Weitere starke Ähnlichkeiten existieren zwischen FRTB und IRRBB; IFRS 9 nimmt dagegen oft eine Sonderrolle ein.

Self-Organizing Maps (SOM)

Eine weitere Analyse- und Visualisierungsmöglichkeit ergibt sich mittels Self-Organizing Maps. Hierbei werden die Texte gemäß definierter Kategorien in eine aus Sechsecken bestehende Struktur so, eingeordnet, dass ähnliche Texte benachbart sind. Aufgrund der Vielzahl verschiedener Texte und der Komplexität des Problems nehmen Regularien dabei prinzipiell mehrere Felder ein. Die Farbgebung verdeutlicht zudem die „Einzigartigkeit“ verschiedener Texte.

Kategorie “Overall”

 

Kategorie “Functions”

 

Kategorie “Impact”

Wie erwartet stellt die allgemeine Sicht die MaRisk-Novelle 2016 nahe BCBS 239.  In der Funktionen-Sicht ergeben sich zudem Ähnlichkeiten zwischen FRTB, IRRBB und SA-CCR, die alle von Risk-Abteilungen wahrgenommen werden,  während sich in der Impact-Sicht IFRS 9 und FRTB – mit  Auswirkungen auf die Kapitalisierung – ähneln.

Angebotsstufen für einen regulatorischen Einsatz von Machine Learning-Verfahren

RiskDataScience ermöglicht Banken die beschriebenen Verfahren effizient und institutsspezifisch einzusetzen und weiterzuentwickeln. Entsprechend den jeweiligen Anforderungen werden dazu folgende drei Ausbaustufen vorgeschlagen.

Stufe 1: Methodik

  • Einweisung in Klassifikations- und Gruppierungsmethodik regulato-rischer Texte
  • Übergabe und Installation der vorhandenen Lösung zur Tagcloud-Generierung – bzw. je nach Kundenanforderung Unterstützung der Implementierung vor Ort
  • Übergabe und Installation der vorhandenen RapidMiner-Lösung – bzw. je nach Kundenanforderung Unterstützung der Implementierung vor Ort
  • Übergabe und Dokumentation der Visualisierungs- und Auswertetechniken
    Bank ist in der Lage Methodik eigenständig zu verwenden und weiterzuentwickeln

Stufe 2: Customizing

  • Stufe 1 und zusätzlich
  • Anpassung und ggf. Neuerstellung regulatorischer Ähnlichkeitskategorien gemäß Gegebenheiten der jeweiligen Bank
  • Analyse der konkreten Regularien, Projekte, Methoden, Prozesse und Systeme zur Identifizierung optimaler Einsatzmöglichkeiten
  • Entwicklung einer Prozessbeschreibung für einen effizienten Einsatz
  • Kommunikation und Dokumentation der Ergebnisse an alle Stakeholder
    Bank verfügt über gecustomizte Verfahren und Prozesse zur Analyse regulatorischer Anforderungen

Stufe 3: IT-Lösung

  • Stufe 1, Stufe 2 und zusätzlich
  • Spezifikation aller Anforderungen für eine automatisierte, ggf. webbasierte IT-Lösung
  • Vorschlag und Kontaktierung möglicher Anbieter
  • Unterstützung bei der Anbieter- und Tool-Auswahl
  • Unterstützung bei der Planung der Umsetzung
  • Fachliche und koordinative Begleitung des Umsetzungsprojekts
  • Fachlicher Support nach Implementierung der IT-Lösung
    Bank verfügt über automatisierte IT-Lösung zur effizienten Klassifizierung und Gruppierung regulatorisch relevanter Texte

Je nach Kundenwunsch ist eine flexible Ausgestaltung möglich. Gerne erläutern wir unseren Ansatz auch im Rahmen eines Vorab-Workshops.

Kontakt

Dr. Dimitrios Geromichalos
Founder / CEO
RiskDataScience UG (haftungsbeschränkt)
Theresienhöhe 28, 80339 München
E-Mail: riskdatascience@web.de
Telefon: +4989244407277, Fax: +4989244407001
Twitter: @riskdatascience