🔍
Steve Randich of FINRA Describes How Using AWS Has Improved System Performance 400% - YouTube
Channel: Amazon Web Services
[3]
Ich sage Ihnen, es ist mir wirklich
ein Vergnügen, heute hier zu sein
[6]
und unsere Geschichte zu erzählen,
eine tolle Geschichte.
[12]
Vor zweieinhalb Jahren haben wir
[14]
eine Migration unserer kritischsten
Systeme zu AWS gestartet.
[20]
Es ist unsere Markt-
Überwachungsplattform.
[23]
Der Schwerpunkt für unser Unternehmen
liegt jetzt in AWS.
[27]
Neunzig Prozent
unseres Datenvolumens ist in AWS.
[30]
Und ja, wir haben
mit den Kronjuwelen begonnen.
[33]
Wir hatten erstaunliche Vorteile
auf dieser Reise.
[36]
Es hat alle Erwartungen übertroffen,
die wir hatten,
[41]
wir haben viel gelernt
[42]
und wir haben dabei
unsere IT-Kultur verändert.
[47]
Also, wir sind FINRA,
[50]
Financial Industry
Regulatory Authority.
[52]
Wir sind ein Wall-Street-Regulierer.
[54]
Unsere Mission ist es, Investoren
[57]
zu schützen indem wir sicherstellen,
dass Märkte fair und ehrlich arbeiten
[61]
und das keine
Markt-Manipulation erfolgt.
[67]
Wie machen wir das?
[68]
Wir verwenden
fortschrittliche Technologie,
[71]
und wir sammeln eine riesige Menge
von Daten aus der Branche.
[74]
Alle Börsen
und alle Finanzdienstleister,
[78]
die Wertpapiere handeln,
senden uns alle Bestellungen, Angebote
[82]
und Trades,
die jeden Tag stattfinden.
[84]
Es ist eine riesige Datenmenge,
[86]
die Spitzen von 75 Milliarden
Datensätzen erreicht,
[89]
die jeden Tag zu FINRA kommen.
[92]
Wir verarbeiten jeden Tag,
was Visa und MasterCard
[96]
über sechs Monate verarbeiten.
[98]
Und wir fügen all
diese Daten zusammen
[101]
und schauen Sie über Tage,
Wochen und Monate an.
[105]
Wir sprechen von Billionen
von Aufzeichnungen, über 20 Petabyte,
[110]
und wir führen komplexe
Überwachungsabfragen
[115]
für diese Daten aus, um nach
verdächtigen Aktivitäten zu suchen.
[119]
Das ist es, was wir tun.
[121]
Wie haben wir unsere Reise
zu AWS begonnen?
[125]
Nun, es gab einen Flash-Crash
vor einigen Jahren,
[128]
ein sehr unangenehmes Ereignis
auf den Märkten.
[131]
Und als Ergebnis davon
[133]
schlug die Wertpapier-
und Handelskommission
[137]
ein neues Regulierungsmandat vor,
um die Märkte besser zu überwachen.
[141]
Zum einen war es sehr schwierig
zu diagnostizieren, was passiert ist.
[146]
Ob es sich
um Handelsalgorithmen handelte,
[149]
die falsch liefen
oder was auch immer.
[152]
Das neue Regulierungsmandat
[155]
wird eigentlich
nach noch mehr Daten fragen,
[157]
einer umfassenderen Marktübersicht
[160]
und da durch nach
[161]
viel mehr Daten.
[163]
Bloomberg sagt,
wenn sie darüber sprechen,
[165]
dass es die größte
Datenbank wird, die es je gab.
[169]
Und so haben wir überlegt,
wie wir dieses Ding bauen können.
[173]
Wir sahen
unsere aktuelle Plattform an,
[175]
was, wie Sie sich vorstellen können,
Data Warehouse Appliances sind,
[179]
und die gut genug waren,
um uns an den jetzigen Punkt zu bringen.
[183]
Aber, wenn wir uns
die wirkliche Herausforderung ansehen,
[186]
mit der Datenmenge,
die wir sammeln mussten,
[188]
stellten wir schnell fest,
dass wir etwas anderes brauchten.
[192]
Also begannen wir 2013 damit,
[197]
uns Public-Cloud-Lösungen
mit Open Source Big Data anzusehen.
[202]
Das ist die Richtung,
die wir einschlagen wollten.
[205]
Also haben wir uns
alle Cloud-Anbieter angesehen.
[208]
Wir hatten Big-Data-Experten.
[210]
Mir erzählte
einer der höchsten leitenden Angestellten
[214]
beim größten Technologieunternehmen,
[216]
dass dies nicht in die Cloud gehört,
es nicht funktionieren würde.
[221]
Also nutzten wir eine Kombination
aus Machbarkeitsbeweisen,
[226]
vielen Analysen
[229]
und den besten Mitarbeitern bei FINRA,
um uns die Sache anzusehen.
[234]
Bis Ende 2013 hatten wir
einen Vorschlag und ein Modell,
[237]
das von Leistungsmodellierung und Machbar-
keitsbeweisen unterstützt wurde,
[242]
und zeigte, wie die Architektur
am Ende aussehen könnte.
[246]
Also beschlossen wir, es zu tun,
mit dem Entwicklen anzufangen.
[255]
Warum auf die endgültige Entscheidung
der SEC warten,
[259]
die mit der Branche arbeitet,
[260]
wann es eingeführt werden soll?
[262]
Wir konnten diese Architektur
[264]
für unsere aktuelle Überwachungs-
plattform und Datenbank verwenden.
[268]
Aus all den klaren Gründen,
aus denen wir heute hier sind:
[270]
um die Kosten zu senken,
die Infrastruktur loszuwerden,
[274]
und für enorme Verarbeitungs-
und Speicherkapazität nach Bedarf
[278]
und zu Einkaufspreisen.
[280]
Das taten wir also.
[281]
Ab 2014 begannen wir damit,
[284]
dieses neue System zu entwickeln,
[288]
und ab Mitte 2014 es zu nutzen.
[293]
Wir haben das Projekt letzten Juli
vollständig abgeschlossen.
[298]
Unser Ansatz ist
sehr unkonventionell.
[301]
Als Wall-Street-Regulierer
[303]
arbeiten wir
in einer konservativen Umgebung.
[306]
Es gibt ein Bedürfnis nach Kontrolle,
sehr viel Vorsicht,
[309]
insbesondere im Bereich
Cybersicherheit.
[312]
Wir übertrugen geschäftskritische,
datenintensive Systeme zuerst.
[316]
Das war sehr mutig.
[318]
Es gab vier Prinzipien, die unseren
strategischen Ansatz definierten.
[322]
Also das erste war Autarkie.
[324]
Wir wollten das selbst machen,
uns nicht auf Anbieter verlassen.
[328]
In der Tat hatten wir Anbieter,
Cloud Broker,
[330]
einen nach dem anderen,
[333]
und schnell, innerhalb
weniger Monate,
[335]
gelangten wir an den Punkt,
wo unsere Fähigkeiten besser waren
[340]
als die der meisten Anbieter
auf dem Markt.
[344]
Das nächste Prinzip war
öffentliche oder private Cloud.
[348]
Ein heißes Thema, die private Cloud,
[350]
vor allem in der Finanz-
dienstleistungsbranche.
[352]
Wieder dieses Bedürfnis
nach Kontrolle.
[355]
Unsere Ansicht ist, warum soll man
all diese Standardhardware
[360]
besitzen, verwalten und unterstützen,
[362]
warum nicht
das mooresche Gesetz beachten?
[365]
Und außerdem sehen wir,
dass die private Cloud
[369]
oft von Infrastrukturleuten
vorgebracht wird,
[372]
die innerhalb ihrer Komfortzone
bleiben wollen.
[375]
Und ja, sie sind wohl Befürworter
des Cloud-Konzepts,
[379]
doch wollen es intern tun,
wieder für die Kontrolle.
[382]
Ein weiteres Prinzip war Open Source.
[384]
Wir wollten Open-Source-Datenbank-
Produkte wie HBase und Hive nutzen.
[390]
Massenweise Datenbankanbieter sagten,
[392]
dass es nicht skalierbar wäre,
dass es nicht ausgereift genug ist,
[395]
nicht funktionieren würde.
[397]
Alles falsch. Wir haben ihnen
allen das Gegenteil bewiesen.
[400]
Das letzte Schlüsselprinzip:
[401]
Wir wollten kein Lift and Shift.
[405]
Wir wollten stattdessen unsere
Anwendungen von Grund auf neu
[408]
in der Cloud schreiben,
um das Cloud-Modell bestmöglich zu nutzen.
[412]
Das nennen wir
die richtige Verwendung der Cloud.
[415]
DevOps-Automatisierung
und Cybersicherheitsschutz wurden
[420]
von Grund auf neu gebaut.
[422]
So haben wir es gemacht.
[425]
Jetzt mit AWS haben wir
eine großartige Partnerschaft.
[431]
Am Anfang haben wir
alle großen Cloud-Anbieter verglichen
[434]
und das tun wir auch heute noch.
[437]
Und wir haben wieder
und wieder festgestellt,
[440]
dass AWS seinen Konkurrenten
mehrere Jahre voraus ist.
[445]
Und tatsächlich vergrößert sich
dieser Abstand immer weiter.
[451]
Unser Anwendungsbereich umfasst
jetzt sehr viele AWS-Produkte,
[457]
und hat uns unabhängig gemacht
[462]
von den proprietären Datenbank-
anbietern, die uns warnen wollten.
[466]
In der Tat sind wir heute
bei 2 Billionen Zeilen in HBase,
[472]
und wir erwarten, dass diese Zahl
noch phänomenal wächst.
[476]
Das Know-how, das wir aufgebaut haben,
ist sehr tiefgreifend.
[480]
Wir haben sieben FINRA-Experten,
die diese Woche
[484]
auf dieser Konferenz sprechen werden.
[490]
Wie geht es für uns weiter?
[492]
Wir wollen den Rest unserer Anwendungen
zu AWS verschieben.
[495]
Das sind Nachzügler.
[496]
Wie gesagt, haben wir
den Großteil bereits bei AWS.
[499]
Auch der Rest soll migrieren
[500]
und es wird wohl wieder Über-
arbeitungen und neue Architekturen
[504]
geben, um DevOps-Optimierungen
und Automatisierungen zu ermöglichen.
[508]
Wir werden unsere Rechenzentren
schließen, wie Sie erwarten würden,
[511]
und wir freuen uns,
wie Andy gerade angekündigt hat,
[515]
echte Datenbankfreiheit von Oracle
[518]
mit AWS Aurora zu erreichen.
[523]
Das Projekt hat unsere Erwartungen
in vielerlei Hinsicht übertroffen.
[528]
Und wir haben einige große angenehme
Überraschungen daraus gezogen,
[532]
mit denen wir gar
nicht gerechnet hatten.
[535]
Zunächst einmal,
was wir sofort gesehen haben,
[538]
als wir Mitte 2014
mit der Produktion begannen,
[542]
sind erstaunliche
Leistungsverbesserungen.
[544]
Im Durchschnitt 400-fache
Verbesserung interaktiver Abfragen.
[549]
Die Ermittlungskapazität
unserer Überwachungsteams
[553]
hat sich dramatisch erweitert.
[555]
Es ist, wie in der Lage zu sein,
etwas zu erforschen
[557]
und nur ein paar Googlesuchen
pro Tag machen zu können;
[560]
es ist unmöglich.
[561]
Jetzt können wir diese Dinge
in Sekunden und Subsekunden tun.
[565]
Und wir können
Marktspitzen absorbieren,
[569]
wie den Brexit im Juni,
[572]
ohne jegliche betriebliche
Herausforderung.
[577]
Tatsächlich erzielen wir
oft Spitzenwerte,
[580]
wo wir kurzzeitig Zehntausende
von Knoten verwenden,
[585]
dann alles in EMR runternehmen
[589]
und die kurzfristigen Spitzen hand-
haben, die auf dem Markt passieren,
[594]
ohne sich dessen im Allgemeinen
bewusst zu sein
[597]
bis es passiert ist und wir
die Protokolle überprüfen.
[600]
Im Jahr 2015,
vor ungefähr anderthalb Jahren
[605]
haben wir,
wie viele von uns, festgestellt,
[607]
dass Cybersicherheit
in der Cloud besser ist
[610]
als in privat verwalteten
Rechenzentren,
[613]
aus vielen guten Gründen,
auf die ich nicht eingehe.
[617]
Und das widersprach
vielen konventionellen Weisheiten,
[620]
wobei Boulevard-Schlagzeilen nicht
geholfen haben,
[622]
wie etwa „Überraschung, Überraschung,
[624]
Hilary speicherte
ihre E-Mail in der Cloud.“
[628]
Resilienz.
[630]
Dies ist eine neuere Beobachtung
von unserer Seite.
[634]
Als CIO von zwei Börsen,
[637]
einschließlich NASDAQ,
und der CIO der Citibank,
[641]
wird viel Zeit für Ausfallsicherheit
und Disaster Recovery verwendet.
[645]
Da unsere Daten repliziert
und allgegenwärtig verarbeitet werden,
[648]
über Dutzende
von Rechenzentren hinweg,
[651]
ändert sich das Modell unserer
Resilienz und Disaster Recovery.
[658]
Mit der richtigen Rechenleistung
in der öffentlichen Cloud,
[661]
ist die Ausfallsicherheit
nicht vergleichbar
[663]
mit dem, was man in privaten
Rechenzentren hätte.
[665]
Als Letztes möchte ich sagen,
dass wir laut und offen in der Presse
[671]
und in Konferenzen über unsere Cloud-
Bemühungen & unseren Erfolg sprachen
[675]
und viel Aufmerksamkeit erhielten.
[677]
Wir haben Dutzende
von Unternehmen, große Banken,
[679]
andere Regulierer, Finanz-
dienstleistungsunternehmen,
[682]
die zu uns kommen, um von unseren
Erfahrungen zu lernen.
[686]
Und jetzt sind wir an
einem Punkt angelangt,
[688]
an dem wir Geschäftsbeziehungen
[691]
mit einer Reihe von Firmen haben
und Unterstützung anbieten.
[695]
Ich bin sehr stolz auf
mein Team und was es erreicht hat.
[698]
Es war einfach
eine erstaunliche Leistung.
[700]
Wir haben das möglich gemacht,
mit der Hilfe von AWS,
[704]
und sind glücklich, diese Geschichte
heute mit Ihnen zu teilen. Danke.
Most Recent Videos:
You can go back to the homepage right here: Homepage