Warum KI-generierte Dashboards ohne Datenqualität und Governance scheitern – mit Christoph Hein, Intito

00:00:00: Das hat halt niemand gewonnen, wenn ich dann der Analyse generiert.

00:00:03: Dann dauert es generieren in der Analyse drei, vier, fünf Minuten und dann stimmt das nicht.

00:00:07: Da muss ich nochmal nachfragen.

00:00:09: Ja?

00:00:09: Und dann dauert der Prozess doch länger als bisher.

00:00:12: Wenn die KI keine Beschleunigung im Prozess erreicht, wenn die KI nicht ermöglicht dass wir schnellere Entscheidungen treffen können, dann gibt's den Business Case dafür nicht!

00:00:30: Hallo und herzlich Willkommen zum Day Down The EYE Culture Podcast.

00:00:33: Ich bin Karsten Bange, Gründer und Geschäftsführer von BAG und mein Gast-Deuter ist Christoph Hein.

00:00:38: Er ist zum einen Geschäftsfeuer der Beratungsstremmer in Tito in Deutschland, zum anderen aber auch ein Historiker im Bereich Multimationale Datenbanken OLAP.

00:00:50: Das ist ein Thema wo er auch relativ bekannt ist und jetzt auch einiges an Arbeit reinsteckt so ein bisschen die Ursprünge Hintergründe nochmal aufzuschreiben, was ja auch wichtig ist in dieser schnell lebenden Technologie.

00:01:02: Unser Thema ist aber nicht OLAPS sondern wie KI im Unternehmen skalieren kann also was sich jetzt eigentlich tun muss als Organisation um KI, gerade so im Data & Analytics Bereich jetzt sinnvoll und vor allem auch möglich so einzusetzen dass es eben von vielen Leuten genutzt werden kann.

00:01:21: Und wir kommen also auf die Erfolgsfaktoren, auf die wesentlichen Baustangen zu sprechen – auch sehr praktisch!

00:01:25: Also wie sieht das jetzt aus wenn ich auch zusätzlich zur KI-Plattform noch Kontext Semantik brauche?

00:01:30: Datenbanken irgendwas muss kalkuliert werden ohne Halizination

00:01:34: usw.?

00:01:35: Wir werden auch hören, warum Dashboards nicht tot sind.

00:01:37: Also beim Kali nicht alles ersetzen wird und aber natürlich welche großen Chancen, aber auch Herausforderungen.

00:01:44: wir haben durch jetzt eine Skalierung von Kali-Unternehmen.

00:01:47: Ich fand viele spannende Aspekte, viele praktische Tipps dabei.

00:01:51: Viel Spaß bei der Folge!

00:01:53: Hallo Christoph!

00:01:54: Willkommen im Day Down Day iCulture Podcast.

00:01:57: Hallo Carsten schön dass ich hier sein darf

00:01:59: Absolut, wir kennen uns ja schon sehr lange.

00:02:02: Du bist einer der Institutionen sozusagen in der Software-Branche aber insbesondere natürlich im ganzen Umfeld Olab Datenbanken, TM I oder vielleicht generell gesprochen Corporate Performance Management, insbesondere im Office of Finance.

00:02:19: was ich dich zum Einstieg gerne fragen würde ist wie siehst du denn den aktuellen Stand zu dem Hype Thema worüber es eigentlich bei allen geht?

00:02:27: künstliche Intelligenz, wie siehst du das?

00:02:29: Wie siehst Du den Stand der Dinge insbesondere mit dem Blick auf die Anwender unternehmen.

00:02:35: Also wir machen gerade auch sehr viel in dem Umfeld und was ich die Frage, mit der ich am häufigsten konfrontiert werde ist, wie gehen wir damit um dass grade jeder Claude oder ChatGPT oder sonstige LLMs einsetzt Vibecoding von Dashboards betreibt oder Cloud in Excel benutzt, um irgendwie aus einer einfachen Excel-Datei ein tolles Fans die Dashboard zu generieren.

00:02:59: Und wie sollen Unternehmen damit umgehen dass das an jeder Stelle auf einmal aufpoppt und die Menschen für die zentralen Daten verantwortlich sind?

00:03:06: Für die klassischen BI-Tools?

00:03:09: links und rechts bombardiert werden mit Anforderungen und Ansprüchen.

00:03:13: und wofür brauchen überhaupt noch VI?

00:03:15: weil da können jetzt ja alles Vibecode mit der KI.

00:03:18: Also sehe ich einen enormen Druck gerade auch im Office of Finance, wo die Leute klassischerweise eben das Reporting orchestrieren und auf den Daten sitzen.

00:03:27: Und jeder zieht sich jetzt in Excel irgendwelche Daten raus aus diesen Datenbanken und lässt die KI drüber laufen, baut ein fancy Dashboarder sieht auch total toll aus.

00:03:35: es hat auch die Farben, die Corporate Identity und alles ja.

00:03:39: aber die erste Frage die dann immer kommt ist hat irgendjemand diese Daten auch mal geprüft?

00:03:43: stimmen diese Daten Schwierigen?

00:03:48: in diesem Spannungsfeld befinden sich gerade ganz viele Unternehmen, dass sie die toll aussehenden Dashboards um die Ohren geworfen, denen um die Orn fliegen und keiner sich irgendwie darüber Gedanken gemacht hat.

00:04:01: Wie sieht es mit den Daten aus, die dahinter stehen?

00:04:03: Was ist mit Governance Security?

00:04:05: und skaliert das überhaupt auch im ganzen Unternehmen dieses eine Dashboard was da eben bei jemandem schnell gepromptet hat?

00:04:12: Absolut, also sehe ich genauso und damit sind wir eigentlich schon in einer der wesentlichen Herausforderungen.

00:04:19: Siehst du es auch so?

00:04:20: Vor zehn, fünfzehn Jahren haben wir über Self-Service BI gesprochen und dann quasi die Herausforderung gehabt hat wie gehe ich damit organisatorisch um?

00:04:27: und Governance usw.

00:04:30: Und jetzt kommt eine Technologie, die sozusagen das Self Service noch stärker ermöglicht.

00:04:36: Siehst du das auch so ?

00:04:37: Das wird das Thema, sagen wir mal ... Ich habe schon Probleme gesagt aber...

00:04:41: ...

00:04:41: die Möglichkeiten und die Probleme sozusagen noch mal potenzieren.

00:04:45: Ich wollte sagen, du hast es sehr schön beschrieben... ...es ist zum einen das ist doch irgendwie alter Wein in neuen Schläuchen weil es sind dieselben Themen wie Hochpuppen, die vor zehn, fünfzehn... ich habe ungefähr für fünfzehnt Jahren im BI-Umfeld angefangen und die Themen damals waren schon immer Silos auflösen, Datenqualität, Governance usw.

00:05:03: Die selben Themen haben wir heute auch noch.

00:05:06: aber du hast ja schon gesagt, es potenziert das Ganze bei was wir heute haben eine extreme Beschleunigung.

00:05:12: Also heute, früher hast du mehrere Wochen oder Monate Zeit gehabt bis du in einem BI-Projekt auch mal das erste Ergebnis durchaus liefern konntest im komplexeren Projekt und heute wird es eben nicht mehr nach Wochen erwartet sondern nach Tagen... ...oder nach Stunden.

00:05:26: Das heißt die Geschwindigkeit ist viel höher der Druck ist viel höher dass da viel schneller Ergebnisse geliefert werden müssen weil eben wie eingangs schon gesagt links und rechts jemanden die Dat nimmt und eben schnell ein HTML Dashboard vibecoded Und das andere ist, die Reichweite ist auch größer.

00:05:43: Wir haben es in einem PUC zum Beispiel erlebt, dass nach drei Tagen der CFO selber darauf zugreifen wollte.

00:05:50: Das habe ich anderen Projekten noch nicht erlebt, da so ein großes Interesse einfach auf so einer Ebene da ist, ne?

00:05:54: Weil es natürlich wenn so Agenten richtig umgesetzt sind, ist das natürlich viel schöner als viel zugänglicher.

00:06:01: Die Daten sind viel zu gänglicher!

00:06:02: Ich muss nicht mein Login unbedingt... Ich muss mich nicht das die Einloggen, ich muss nicht durch die Berichte durchklicken und das richtige Dashboard finden.

00:06:11: Und dann auch noch die Data Literacy haben um es zu verstehen.

00:06:15: Ja?

00:06:15: Ich kann einfach in natürlicher Sprache eine Abfrage in einen Promt abschicken... ...und kriege hoffentlich die Antwort, die ich brauche.

00:06:25: Das ist von der Hürde Self-Service BI hoch.

00:06:30: zehn also.

00:06:32: Also du sprichst das Interface an, natürliche Sprache.

00:06:36: Man kann sich das nochmal erklären lassen aber es ist schon mal ein wirklich großer Fortschritt.

00:06:42: Das ist spannend und damit letztendlich auch die Flexibilität, die ich damit bekomme.

00:06:45: Das war ja schon immer nicht das Thema für Safe Service, warum mache ich das überhaupt?

00:06:48: Es ist eigentlich angenehmer, sich alles vorbereiten zu lassen, aber das eichthaltig.

00:06:52: Ich brauche immer wieder neue Fragen und die Möglichkeiten habe ich jetzt eben damit geschaffen.

00:06:57: Du hast aber auch die sozusagen Herausforderung in dem Zusammenhang schon kurz erwähnt und da sollte man nochmal ein bisschen darauf zu sprechen kommen, wie ich damit eigentlich umgehe.

00:07:08: Aber würdest du vielleicht so sagen als Leitbild?

00:07:10: Ja wir haben hier viele neue Möglichkeiten, die uns auch echt weiterbringen also Zugänglichkeit von Daten, Flexibilität, neue Berichte zu machen müssen jetzt aber auch mit den sozusagen Herausforderungen umgehen das auch tatsächlich gut umzusetzen und letztendlich dann auch richtig anbieten zu können.

00:07:26: Hat das so ein bisschen der Stand der Dinge?

00:07:29: Ja, du merkst das ganz viel.

00:07:30: Es gibt diese POCs überall und jeder wenn man muss nur auf LinkedIn gehen und jeder macht gerade zeig dir wie du mit einem MCP Server beliebige Databank ob es jetzt in meinem Umfeld zum Beispiel IBM Planning Analytics ist aber auch SAP, Annaplan, Bord wie sie alle heißen.

00:07:46: Jeder hat einen Unterschied check-Colour Interfaces für KI.

00:07:49: Jeder anbietet eine KI Strategie an der Stelle.

00:07:53: Das LinkedIn ist voll von Leuten, die zeigen wie du in Claude oder in Chatchity oder irgendwelchen anderen Tools dich damit verbinden kannst.

00:08:02: Wie du mit Claude und Excel diese ganzen Sachen machen.

00:08:07: Das heißt du hast da diesen Druck und dann müssen wir aber darüber nachdenken, wie bringen wir das eben im Enterprise-Umfeld?

00:08:17: Wie skalieren wird es?

00:08:18: Ist das Ziel denn wirklich dass jetzt jeder diese Dashboards Weibcoded oder jeder seine Abfrei selber mit den Daten auseinandersetzt.

00:08:29: Es gibt ja Gründe, warum wir Datenbanken eingeführt haben und wegwollen von der Excel-Hölle.

00:08:34: Schon seit Jahrzehnten wegwollten von der Exel-Höhle wo jeder seine eigene Wahrheit hat.

00:08:38: Wir wollen ja bewusst eine zentrale Wahrheit haben, wo wir sicher sein können dass die Zahlen stimmen und ähnliches Und wie wir jetzt eben dahinkommen das wir da auch entsprechend skalieren können mit einer Governance.

00:08:50: wenn ich die Excel Tabellen rumschicke dann... Hab ich keine Kontrolle mehr darüber, wie das jemand darauf zugreift hat.

00:08:57: Also auch wie du vorhin gesagt hast, dass sind die selben Themen natürlich wie vor fünfzehn Jahren.

00:09:01: Auch da war es immer so wenn die Exentapelle rumgeschickt wird ist nicht mehr sichergestellt wer darauf zuggreifen kann.

00:09:10: und dann natürlich auch wenn du das skalieren willst, willst jetzt wirklich das Fünfhundert Leute tausend Leuten in deinem Unternehmen alle mit Claude an Excel arbeiten und dann jeder quasi neu definieren muss, was Claude machen muss.

00:09:22: Weil es eben auch keine zentrale Logik gibt, keine Semantik dahinter gibt wie die Daten interpretiert werden müssen weil... Die wenigsten Daten sind so aufbereitet dass sie automatisch für eine KI verständlich sind.

00:09:35: Jedes Unternehmen hat seine eigenen Abkürzungen, seine eigenen prozeien individuellen Prozesse fängt an mit offensichtlichen Dingen wie dem abweichenden Finanzjahr Na, das zum Kalenderjahrabweich mit speziellen Bezeichnungen.

00:09:50: Ich hatte gerade die Woche im Gespräch bei einem Kunden damit drüber philosophiert was es alles für Bezeichnung nur in der deutschen Sprache für FTEs gibt also FTE oder im Deutschen eben Vollzeitkräfte voll Voll Voll Voll Zeitpersonen Vollkräfte Voll Beschäftigte

00:10:12: Vollzeug-Activalent.

00:10:13: Genau, ja und das alles muss ich wenn ich mit einer KI alleine arbeite ohne dass es in einem gabbernden Umfeld ist, muss ich das jedes mal daran denken, dass sich der KI auch wieder mitgeben ist oder das denkt dann keiner zentral für mich mit.

00:10:29: Und gerade bei Claude & Excel, das denkt überhaupt nicht mehr, das hat kein Memory und wirklich du musst jedes Mal alles wieder neu definieren und das ist natürlich auch unglaublich teuer.

00:10:40: Ja, aber dann war ein Fall.

00:10:42: Dass beim Kunden jemand Klaude in Excel verwendet hat und den halt von einer Woche fast tausendfünfhundert Euro in Tokens ausgegeben hat.

00:10:51: Wahnsinn!

00:10:52: Da muss ich sagen... Ich weiß nicht wie das bei dir ist, Karsten?

00:10:54: Ich nutze sehr viel Klaud, auch Chatry, sehr viel KI.

00:10:58: Ich habe es mal mit wirklich einem guten Monat geschafft, sechs oder sieben Hundert Euro auszugeben.

00:11:04: In einem Monat.

00:11:05: Das heißt, ich weiß nicht was man machen muss um so viel in einer Woche, das doppelt in einer woche raus zu hauen.

00:11:13: Also da merkt man schon dass es einfach nicht effizient ist.

00:11:15: Das ist das wenn wir das dann eben versucht zu skalieren auf fünfhundert Leute und dann hat man halt pro Woche fünfhundersächs neunhundert tausen siebhunderttausend Euro gar schon ohne KI gar nicht mehr rechnen.

00:11:26: Siebhundertausend Euro dafür das leute Dashboards in Excel bauen in der Woche.

00:11:31: Ja das kann ja nicht nachhaltig sein.

00:11:33: Das kann ja sowas nicht skalieren.

00:11:37: über KI im Finanzbereich zum Beispiel nachdenken, sagt man wilder großflächig die Möglichkeit nutzen.

00:11:44: Du hast eben das Interface angesprochen.

00:11:45: Das ist ja super!

00:11:46: Es ist viel einfacher zugänglich für die Leute, die Informationen aus der Finanz brauchen, die aber jetzt nicht tagtäglich diese Informationen brauchen.

00:11:54: Das heißt sie kennen sich in den Dashboards und den Reports nicht aus.

00:11:56: Die müssen immer wieder entweder nachfragen wie Sie da hinkommen oder sich mühsam durchklicken.

00:12:02: Wenn die einfach eine natürliche Sprache, die Frage stellen und die Antwort kriegen ist das es ist ein enormer Gewinn.

00:12:08: Nur das Ziel muss dann halt sein dass man dahinter auch Prozesse aufsetzt und eine Infrastruktur aussetzt, die das auch unterstützt.

00:12:15: Das heißt man braucht dann eben Maßnahmen wie das heizskaliert.

00:12:19: Und da gehört dann eben bei der Skalierung dazu, dass man auch die Token effizient achtet.

00:12:23: D.h.,

00:12:24: wie baue ich mein Modell dahinter?

00:12:28: Mein Agenten, mein Agentennetzwerk... Token effizient arbeitet?

00:12:33: wann nämlich welches lm?

00:12:34: ja wie viel reasoning pack ich dahinter solche themen aber eben auch.

00:12:40: Die die die Daten die governieren daten als braucht eine dartenquelle dahinter die sauber ist wo die zahlen stimmen.

00:12:45: die kai kann nicht gut rechnen, das heißt muss sich erstellen dass sie die daten die da rausgezogen sind immer immer stimmen.

00:12:53: und die saubere dann habe ich natürlich wenn ich eine datenbank dahinten hab egal was für eine habe ich automatisch auch die komplette governance schon mehr oder weniger erschlagen bin ich das eben User spezifische Berechtigung jeder darf nur das sehen, was er sehen darf.

00:13:07: Das wird insbesondere noch mal schwieriger als in anderen Fällen weil das haben wir ja auch immer wenn Claude jetzt letztens ganz tropik Ein Modell zurückgezogen hat, weil man irgendwie durch ganz geschicktes Prompting das Rezept für Crystal Mask rausfinden konnte oder so.

00:13:25: Obwohl es eigentlich durch Guardrails verhindert werden sollte.

00:13:27: und das muss man natürlich auch für die eigenen Unternehmen starten.

00:13:30: Man muss sicherstellen dass nicht der DKI durch geschickte Fragen dem User Daten gibt, die er gar nicht haben darf.

00:13:39: Solche Themen sind wichtig wenn wir über die Skalierung reden und auch wenn wir bei der Token Effizienz bleiben.

00:13:46: Manchmal braucht es vielleicht auch gar nicht eine Analyse von der KI aus der Datenquelle.

00:13:53: Manchmal kann man vielleicht auch einfach sagen, was du willst nur den Umsatz wissen, den findest du hier in dem Dashboard, in dem Bericht und eben statt ne komplexe Analyso zu machen, einfach zu sagen hier pass auf, guck erstmal in den Bericht, wenn du dann noch Fragen hast wie bei User, dann kannst du dich nochmal bei der KI melden.

00:14:08: Ja absolut also.

00:14:10: du hast jetzt gesagt diese Flexibilität die uns... boten wird durch jetzt gerade so Chat Interfaces.

00:14:18: Du sagst dies einerseits besonders nützlich für Gelegenheitsnutzer, also jemand der immer hin und wieder mal drauf guckt und eigentlich ist es sonst die Systeme kaum bedienen kann oder gar nicht weiß wo er um was findet.

00:14:29: das ist ein Riesenvorteil.

00:14:31: Jetzt hast du aber grade auch darauf angesprochen dass eigentlich die ständigen Nutzer vielleicht auch, dass gar nicht als das ideale Interface sehen.

00:14:39: Weil du eben Kosten erzeugst wenn du jedes mal dein Dashboard neu erzeugen willst.

00:14:45: ich habe gerade das Bild im Kopf ja Du hast einen Standardbedarf an Informationen.

00:14:50: Ich brauche halt so mal zehn Kennzahlen und die brauche ich halt dreimal am Tag oder einmal morgens.

00:14:54: Und dann guck einfach auf das Dashboard was es aktualisiert wurde und gut ist.

00:15:00: und das jetzt jedes Mal neu generieren zu lassen würde mich vielleicht stören von den Kosten her aber auch von der Performance übrigens.

00:15:06: Also es dauert ja alles, bis das dann aufbereitet ist während ich ja eigentlich nur einen kurzen Blick auf das Dashboard bewerfen will.

00:15:12: Ja

00:15:13: vor allem wenn du überlegst dass du dann eventuell noch zwei drei Schleifen drehen musst weil die KI nicht automatisch deine Frage richtig interpretiert.

00:15:21: Das ist ja generell das Thema.

00:15:23: Wenn jemand fragt was ist der Umsatz?

00:15:25: Jeder von uns hat im Kopf eine eigene Antwort hier als Antwort erwartet.

00:15:31: Kontext dazugehört, das ist ja das kontext.

00:15:33: is king ist das große thema ja auch gerade in im kaium fällt das heißt eben dieser.

00:15:39: Der eisemantik layer das ist noch mal ein bisschen anders als der klassische semantische die sementische schicht mit diese ganzen besonderheiten eben erklärt wo dann wirklich die daten so sind aufbereit wo die erläutern für die k i dabei sind dass sie die richtig beantworten kann und zwar sowohl Wer gehört dann auch der nächste Ausbaustufe dazu, wer fragt jetzt hier gerade das CFO nach dem Umsatz oder fragt den Country Manager nach dem Kostensstellen verantwortlicher.

00:16:09: Frag ich mal aus dem Einkauf nach dem Einsatz und aus dem Vertrieb?

00:16:13: Ist es der Binnenumsatz?

00:16:14: ist es der Regionsumsatz und diese ganzen... Information um da den Leuten eben auch zu helfen die Leute wollen wir auch nicht.

00:16:23: Dann fünfmal hin und her die wollen ja eigentlich wirklich schnell eine Antwort, sonst gehen sie wieder ins Telefon und rufen im zentralen Kontrolling an und fragen einfach mal den Kontrolling der ins Telefone geht.

00:16:31: Der Weißwerder anruft kann dem kann das dann richtig einschätzen.

00:16:34: diese Information muss man der KI auch irgendwie.

00:16:38: An die Hand geben.

00:16:39: zusätzlich noch zu den ganzen zu diesen Ganzen über die Prozesse auch über die Personen.

00:16:45: Und im Idealfall dann später auch in einer nächsten Ausbeustufe vielleicht auch einen Individuelles Gedächtnis für jede Person.

00:16:52: nach dem Motto die Person fragt immer noch den Umsatz dann meint ihr auch das.

00:16:56: Da kommen noch ganz viele andere große Themen dann auf einen zu.

00:17:01: wenn man das eben skalieren möchte und so auch skalieren möchte dass die Leute halt auch ein Gewinn davon haben weil es hat ja niemand gewonnen, wenn ich halt wie du sagst als der der Analyse generiert dann dauert es generieren analyse drei vier fünf Minuten.

00:17:12: Dann stimmt ist nicht.

00:17:13: da muss ich nochmal nachfragen.

00:17:15: dann dauern der Prozess doch länger als bisher.

00:17:18: Wenn die KI keine Beschleunigung im Prozess erreicht, wenn die KI nicht ermöglicht dass wir schnellere Entscheidungen treffen können.

00:17:25: Dann gibt es den Business Case dafür nicht.

00:17:26: meine Lieblingsgeschichte dazu bis zu illustrieren ist immer Sterns vorne Unternehmen global aufgestelltes Unternehmen zentrale sitzt hier in Würzburg ein hypothetischer Ort weltweiter Player aus Würzburger und hat eine Fabrik einen Werk in Indien und die die Werksleitung braucht irgendwelche Kennzahlen, irgendwelchen Zahlen.

00:17:50: Die sie jetzt noch nicht findet was macht die?

00:17:52: Versucht das zentrale Kontrolling zu kontaktieren.

00:17:55: so ist es durch die Zeitverschiebung.

00:17:58: Ist hier halt keiner erreichbar in Deutschland.

00:17:59: also schickt die Person eine E-Mail wie wir am nächsten Morgen gelesen wird natürlich direkt bei Arbeit über Zurückschick.

00:18:05: aber bis die Antwort in Indien ankommt ist dort schon nach.

00:18:08: die Person sieht die Werksleitung sieht's am nächsten morgen sieht super die Antwort die ich brauche.

00:18:13: aber ich habe noch zwei Rückfragen.

00:18:14: schickt der E-mail zurück und der ganze Kreiselaufbeginn von vorne Zieht natürlich so ein einfachen Entscheidungsprozess enorm in die Länge, ohne dass irgendjemand irgendwas falsch macht oder irgendwo aktiv den Prozess behindert ist.

00:18:26: Einfach geht einfach nicht schneller.

00:18:28: und jetzt vorstellen das kann man mit einer KI machen, da kann man den Prozesse enorm beschleunigen.

00:18:33: Man kann die Werkstatt und fragt einfach in natürlicher Sprache einen KI-Agentin was sind mal Zahlen?

00:18:39: ok super.

00:18:39: dann kann noch drei vier fünf Fragen Stellen zum verfeinern hat und hat nach einer halben Stunde des Ergebnis während der Deutschland noch alle schlafen.

00:18:47: Also da haben wir dann eben eine Beschleunigung.

00:18:49: Dann haben wir schnellere Entscheidungen, weil wir brauchen schnellere Entscheidungen durch KI und nicht noch mehr Reports.

00:18:55: Weil das ist das was dieses ganze Bytecoding erzeugt.

00:18:57: Hunderte von HTML-Reports die dann keiner mehr überblicken kann.

00:19:05: Absolut!

00:19:06: Das macht Sinn aber dann lassen wir mal ein bisschen genauer einsteigen.

00:19:08: oder beziehungsweise du hast schon viel erwähnt wie man das jetzt erfolgreich umsetzen kann?

00:19:13: Aber lass uns das doch nochmal auf den Punkt bringen also... Du hast gesagt, eines der größten Probleme ist eigentlich da ein Konsistenz oder sicherzustellen dass das richtig ist was da letztendlich auch geantwortet wird von so einer KI.

00:19:26: Du hast schon ein paar Hinweise gegeben, Datenbank war eine Context oder Semantik Layer war eine andere.

00:19:32: Vielleicht kannst du das noch mal so auf den Punkt bringen zu sagen okay was sind jetzt die wichtigsten Aspekte?

00:19:37: Oder vielleicht auch Systembestandteile?

00:19:39: oder wie sieht Architektur aus und letztendlich diese Möglichkeiten der KI dann wirklich in einem Enterprise Kontext skalieren zu können.

00:19:49: Das Wichtigste und das Schlimmste für alle Beteiligten, weil das ist ja auch glaube ich bei euch im Survey seit Jahren top Positionen Datenqualität.

00:19:58: Ich brauche halt vertrauenswürdige Daten, wenn die Daten nicht in der Datenbank vorliegen, nicht sauber und vertrauungswürdig sind dann hilft dann so ob die KI dafür dass wir noch schneller schlechte Entscheidungen auf Basis von schlechten Datentreffen.

00:20:11: Das heißt Daten Qualität, Daten Qualitet, Daten Man kann es nicht oft genug, das geht auch nicht weg.

00:20:16: Das geht auch auf Wundersamen, dass fix die KI ja auch nicht auf wundersame Weise, auch wenn ich zur Anfrage regelmäßig bekomme.

00:20:21: Wir haben jetzt KI, die kann es doch quasi fixen und dann kann sie nicht.

00:20:25: Wenn die Daten falsch sind, sind die Daten falsch?

00:20:29: Auf der Basis, ich brauche saubere Daten.

00:20:33: Ich muss... Dann auf sauberen Daten kann ich mit einem LLM zugreifen.

00:20:37: Und das ist das was sich auch, wenn ich einen MCP Server nehme auf irgendeine Datenbank, ...dann kann ich Claude OpenAI, Chatchivity nehmen und kann schon mal im ersten Blick coole Dinge machen.

00:20:51: Weil die LLM mir schon ganz viele Möglichkeiten gibt diese Genai daraus zu ziehen zum Beispiel die Daten abzugreifen und zu analysieren.

00:20:59: aber das zweite ist das LM da es auch wichtig was für eins nämlich macht einfach ein riesen Unterschied welches LLm nimmt man?

00:21:09: Und dann wenn ich das beides habe dann kommt der dritte Aspekt.

00:21:14: Ich glaube das neue Heibworte für das AI Harness oder Semantic Layer, speziell für die KI.

00:21:21: Das heißt diese ganzen zusätzlichen Informationen Guardrails für die Ki dass sie zum Beispiel nicht rechnen darf, dass sie jede Zahl die sie produziert sich was ausdenkt, dass es jede Zahl wie sie zeigt, die sie zu Tage fördert auf der Datenbank herauskommt und so belegt sein muss, dass ihr aus der Datenbanken kommt.

00:21:41: aber eben auch der Kontext dazu Und nicht nur selbst die beste Datenbank fehlt ja Prozess Know-how wie die Prozesse funktionieren im Unternehmen.

00:21:51: Das heißt, wie funktioniert der Planungsprozess?

00:21:54: Also wenn jemand nach der und der Kennsteil im Planung so nach dem Schritt in den Planungs prozess fragt dann wo muss die KI dann in der Datenbank danach suchen?

00:22:03: dieser ganzen dieser Kontext der erläutert der Abkürzung erläuter für Produkte der auch ein bisschen Kontext dazu liefert.

00:22:11: wenn jemand Gib mir das Konto mit dem Abit da, welches ist es?

00:22:17: Und das Abit ist wahrscheinlich noch als Beschreibung da.

00:22:20: Aber wenn wir dann eben mehr spezifischer reingehen, weil die wenigsten Menschen wissen alle Kontennummern im Unternehmen auswendig.

00:22:29: Du brauchst auch Kontext in Sinne von was ist zum Beispiel die Geschäftsstrategie?

00:22:33: also macht halt einen Riesenunterschied.

00:22:36: Wenn ich Frage bringe gib mir die Umsätze der letzten drei Monate für Produkt X Y Z ... oder analysiere mir die Umsätze für dieses Produkt.

00:22:46: Macht das halt einen riesen Unterschied?

00:22:47: Ist es ein Produkt, dass langsam aus dem Phasing-Out-Prozess ist... ...dass also ausläuft, wo der Umsatz einfach erwartet nach unten geht...?

00:22:54: Oder ist das ein Produkt in das, wo ich erwarte, dass der Umsetz nach oben geht weil's im Rising Star ist?

00:23:00: Das macht ja für die Analyse der Daten einen enormen Unterschied was DKI mehr sagt.

00:23:03: Ansonsten sagt DKI, oh mein Gott!

00:23:05: Umsatz geht runter.

00:23:07: und dann ist es aber ein Produkt was eh in sechs Monaten einfach die Produktion eingestellt wird, wo es einfach okay ist.

00:23:14: Völlig in Ordnung ist also dieser Kontext.

00:23:15: der steht ja nicht in der Daten, aber das ist dieses AI Harness dieser Kontex, der so notwendig ist damit die KI damit arbeiten kann.

00:23:23: Okay verstanden?

00:23:24: Also total wichtig.

00:23:26: wie mache ich das denn?

00:23:28: Wie kann ich jetzt diese ganzen Informationen einer AI bereitstellen?

00:23:33: Am Ende vom Tag braucht's da irgendein Art von Orchestrierungstool IBM World's Next Orchestrate, natürlich super.

00:23:40: Aber auch Microsoft Copilot Studio oder... gibt es eigentlich?

00:23:45: ne?

00:23:45: Also ich brauche irgendeine Plattform auf der ich meinen Agenten bereitstelle, mein Netzwerk aus Agenten und muss dort eben auch diesen Kontext.

00:23:53: mit diesem Kontext kann ich im Ende vom Tag ist das Text.

00:23:56: Das heißt den kann ich in Text-Dateien, Markdown-Dataien bereitstellen, den kann Kann ich in Datenbanken ablegen, kann ich ganz fancy als Lektoren ablegen oder was weiß ich?

00:24:10: Also ich muss den auf jeden Fall irgendwie bereit sein.

00:24:11: Ich kann dem mit Hilfe von KI auch generieren und ich kann die KI dann zum Beispiel füttern... ...mit einem Strategie-Papier des Unternehmens und daraus ableiten lassen wie er diese... Was ist das halt nicht?

00:24:23: Das heißt, dass sich merkt okay, die Produkte werden zum Beispiel im Markt verlassen und das sind unsere neuen Produkte, die kommen demnächst.

00:24:29: solche Sachen Die kann ich erst mal, die muss sich im Füttern und die speichert.

00:24:33: Wie kann ich damit Hilfe der KI eben in diesen Semantik-Layer für die KI auch ablegen?

00:24:38: Aber ich muss diese Informationen bereitstellen.

00:24:40: Macht Sinn!

00:24:41: Okay, du sagst es vorhin wir müssen sicher stellen dass die KI nicht rechnet, damit sie dann noch nichts erfindet.

00:24:48: Wo rechnen wir denn dann?

00:24:49: Ich meine viele Kennzeilen sind ja berechnet in Berichten oder in den Umgeben.

00:24:54: Also zum einen habe ich natürlich Datenbanken, dann gibt's ja ganz viele... Unser.

00:25:00: ein Thema, das uns beiden ja sehr nahe liegt ist das Thema OLAB.

00:25:04: Das ist natürlich eine Technologie, eine Methodik die dafür prädestimiert ist dort eben Berechnungen abzulegen.

00:25:12: Ist auch sehr zu empfehlen dass immer der Klassiker Berechnung gehören in die Datenbank war schon vor fünfzehn Jahren so berechnen sollten nicht im Dashboard oder den Bericht stattfinden gehört in die Datenbank damit es eben abrufbar ist mit auditierbar.

00:25:24: und soweit also in die datenbank.

00:25:26: und ansonsten gibt's Auch da immer die Möglichkeit klassisch ganz klassisch wie man es heute auch macht, Python oder R anzubinden.

00:25:33: Wo ich aber auch wieder eine Transparenz bekomme bei ein Python-Script.

00:25:36: Ein R-Skript kann ich auch auditieren.

00:25:39: Da ist dann nachvollziehbar einen Rechenweg hinterlegt.

00:25:42: Das heißt dadurch habe ich Transparens wie diese Zahl zustande kommt.

00:25:45: Eine KI gibt mir einfach irgendeine Zahl und wenn ich morgen dieselbe Frage stelle, kann eine andere Zahl rauskommen?

00:25:52: Sprich jetzt sagen im ersten Grundsatz der Mathematik, wenn ich jede Rechnung sollte immer das gleiche Ergebnis produzieren.

00:26:01: Das heißt es kommt da auch wieder auf die Grundlagen an.

00:26:05: und dann empfehle ich immer Berechnungen gehören in die Datenbank.

00:26:08: Genau!

00:26:09: Auf der Datenbank auf jeden Fall.

00:26:11: Die rechnen ja auch.

00:26:14: Es gibt aber auch viele BI-Werkzeuge, die sich ja immer stärker jetzt drauf konzentrieren zu sagen.

00:26:20: Naja wir liefern doch diesen Semanticlayer oder wir liefern doch diese Kalkulationsendchen.

00:26:24: wie siehst du das?

00:26:28: Also ja natürlich ich glaube was wir durch KI auch nochmal mehr haben ist ein bisschen den Wegfall vom Single Point of Truths dass jetzt alles an einem Ort haben muss wenn wir über KI reden.

00:26:43: Das sehen wir auch in unseren Projekten ganz viel.

00:26:46: Du hast einfach ein agentisches Netzwerk, das heißt du hast dann zum Beispiel einen Agenten der die Daten aus dem SAP holt und du musst jetzt die SAP-Daten nicht eins zu eins im Planning Analytics haben weil der Agent eben die Daten immer daherholt wo man sie gerade braucht.

00:27:10: gibt es, was die Werte angeht und die Daten angeht.

00:27:15: Die Zahlen angeht einen Aufweichen dieses Single Point of Truths.

00:27:20: Das heißt nicht dass du nicht das eine oder andere Tool dafür verwenden kannst aber das ist ja auch erst mal nur der Fokus auf die Zahlen.

00:27:26: Das ganze Prozess Know-How, diese Textuelle Know-how ist da ganz oft gar nicht Teil davon.

00:27:33: Das ist sowieso nochmal separat.

00:27:34: Das liegt dann näher eben aus so einer Orchestrierungsplattform.

00:27:38: Jetzt hast du auch gesagt, dass das LLM entscheidend ist.

00:27:41: Dass die unterschiedliche Eignung haben.

00:27:45: Da würde mich sehr stark interessieren was da deine Erfahrungen sind.

00:27:48: Welche sind besser?

00:27:48: Welches sind schlechter?

00:27:49: Was meinst du damit?

00:27:51: Also was wir gemacht haben... Wir haben einfach schon Tests gemacht mit unseren eigenen Agenten und haben quasi denselben Prompt fünfzehn Mal laufen lassen und Agent Instruktionen Datenbank alles gleich nur des LLm was dann quasi in dem Agenten verwendet wurde, ausgetauscht und dann einfach mehrfach denselben Prompt abgeschickt.

00:28:13: Und vorher ein erwartbares, ein erwartetes Ergebnis definiert.

00:28:17: Dann haben wir einfach LNMs gehabt.

00:28:18: die haben immer das gleiche, das richtige Ergebnis geliefert.

00:28:24: und haben wir welche gehabt?

00:28:25: Die haben manchmal das richtige Ergebniss geliefert also einen Sechzig Prozent der Fälle zum Beispiel oder einen Vierzig Prozent der.

00:28:33: Und was wir auch gesehen haben ist natürlich die komplexer, die Frage.

00:28:36: Das heißt du hast eine LLM?

00:28:38: Jedes LLm kann in so einem Umfeld fast jedes eigentlich die Frage beantworten wie war mein Umsatz?

00:28:44: Das sind relativ einfache Fragen.

00:28:45: Die muss man nicht viel interpretieren.

00:28:49: Aber sobald du komplexe wirst und eine spezielle Analyse wirklich machen willst und nicht nur zeigt mir den Umsatz, sondern durch komplexere Analysen.

00:28:57: dann wird das LM hat sehr entscheidend damit es richtig übersetzt werden kann, damit er in der richtigen Stelle in der Datenbank guckt.

00:29:03: Na, da siehst du einfach.

00:29:05: Inzwischen mit den letzten Modellen von von der Tropic und von Open AI sind wir sehr gut aufgestellt.

00:29:10: Wir haben auch kleineren Open Source Modellen getestet.

00:29:14: Und dann siehst Du einen Abfall in der Qualität.

00:29:16: die Opensource Modelle sind ja im Schnitt immer so.

00:29:18: Man sagt immer so sechs Monate hinter dem hinter den proprietären hinterher.

00:29:22: Ja?

00:29:23: Und da sieht man aber halt auch.

00:29:24: was man da sehr schön sieht ist man kann auch abwägen für komplexere Anfragen.

00:29:28: nimmt man zum Beispiel teureres LLM.

00:29:31: Ein simpleres LLM, was dann auch wieder günstiger im Betrieb ist.

00:29:37: Aber es ist einfach ganz oft so dass das LLm einen enormen Einfluss auf die Qualität der Antwort hat.

00:29:44: Okay!

00:29:44: Das finde ich eine absolut spannende Erfahrung und auch eine wichtige.

00:29:49: Und jetzt kommen die Kosten wieder ins Spiel und diese Kombination von Modellen... Ich bin ganz fest davon überzeugt, das ist die Zukunft.

00:29:57: Also wir brauchen ja unterschiedliche Güte von Modellen, die halt in aller Regel auch korrelierst mit den Kosten dafür.

00:30:07: Da vielleicht deine Hinweise und Erfahrungen.

00:30:09: wie kann ich das jetzt praktisch umsetzen als Unternehmen?

00:30:13: Also ich habe das bei mir persönlichen Experiments manchmal so gemacht am großen Knowledge World, also der Wissenstart macht einen ganz vielen Text Dateien zu einem meiner Lieblingsthemen nämlich die Geschichte von Themen eins und es ist ganz viel Text.

00:30:29: Und ich habe dann einfach mir gemeinsam mit der KI einen Plan überlegt für welche Art von Anfrage, welches LLM sinnvoll ist.

00:30:40: Das findet man auch selber alleine gar nicht raus.

00:30:41: dafür braucht man dann auch die KI, die KI muss sich dann wirklich selber optimieren und sozusagen die Anfragen wie man so hat Analysiere sagen okay und dann kannst du so eine Klassicherung.

00:30:50: vor allem geht diese Art von Anfragen die schicken wir erstmal das LLM.

00:30:54: Und wenn und dann gibt es so Eskalations fahre, ne?

00:30:57: Wenn der User sagt die Antwort reicht mir nicht ok da nehme ich dann schicke dieselbe Frage nochmal mit dem schwieriger immer besseren LLm los.

00:31:05: Ja aber kann natürlich sehr viel Spaß hängen und da kommt's auch wieder dann auf an.

00:31:08: man hat einen sauberen Semantik Layer.

00:31:11: Ich habe diese Schicht und aus der Information abrufen dass ist klar strukturiert dann brauche ich auch Ein weniger gutes LLM reicht dann auch, weil das nicht so komplex ist.

00:31:21: Sogar wisse Informationen wenn er... ...ein gewisse Themen erstmal drüber nachdenken muss was meint der user damit?

00:31:27: Also wie was meinte er mit dieser Frage jetzt mit dem Fiskalier, wenn das jetzt irgendwie sofort klar ist?

00:31:31: Er hat eine Instruktion und weiß okay.

00:31:34: Er geht in den Semäntegleicher sieht Okay fiskaliers um sechs Monate verschoben.

00:31:37: Das heißt wenn jemand den ersten Monat im Fiskel hier haben will, will er den Juli haben Und damit geht er direkt rein.

00:31:43: Dann ist es natürlich weniger komplex als wenn man das erst neu interpretieren muss.

00:31:49: Und da kommt halt eben die Datenqualität in der Basis, die Daten Qualität in den Datenbank und eben auch die Qualität des Semantic Layers zum Tragen.

00:31:58: dann kann ich auch eine wirkliche Tokeneffizienz daherbeifüllen und die LLMs entsprechend auswählen

00:32:05: Wenn wir es, glaube ich schon super viele Hinweise bekommen wie jetzt KI skaliert werden kann und auch schon sehr praktische Empfehlungen bekommen.

00:32:13: Jetzt würde ich gerne noch eine Dimension ansprechen.

00:32:15: du bist ja hier im Data und der R-Culture Podcast und Skalierung heißt ja auch mehr Menschen mit diesen Möglichkeiten auszustatten zu konfrontieren.

00:32:24: Wie nehmen die mit auf diese Reise?

00:32:27: denn am Ende sollen ja Menschen immer noch entscheiden.

00:32:30: was ist da deine Erwählung?

00:32:32: Am Ende müssen die Menschen noch entscheiden, soweit sind wir noch weit von entfernt aus gutem Grund auch.

00:32:40: Wie nehmen wir den Menschen mit?

00:32:40: Das ist dieselbe Frage wieder da.

00:32:44: Das ist wie vor fünfzehn Jahren muss die Leute mitnehmen.

00:32:46: Das heißt du musst denen erst mal zeigen dass du dir nichts wegnimmst und musst Vertrauen in die Daten schaffen.

00:32:51: das heißt diese Transparenz dieser Nachvollziehbarkeit wie die KI zu der Antwort kam zu der sie gekommen ist extrem wichtig.

00:32:59: auf Datenbank und Datenqualität ein, weil dann ist es nachvollziehbar.

00:33:02: Wir würden sagen jetzt guck mal, die IT hat die Zahl fünfundsebtsch Millionen gefunden und die findest du auch genau so in der Datenbank in deinem Bericht.

00:33:09: Du findest also die selbe Zahl.

00:33:10: das schafft also das Vertrauen schaffen ja?

00:33:13: Und ein Stück weit auch und das ist das was wo KI einen glaube ich.

00:33:16: das leichter macht die Leute mit, sie müssen kein neues Tool lernen.

00:33:20: Weil am Ende vom Tag wird das in der Endausbausstufe immer so auswendig... Ich habe nicht fünfzehn verschiedene KI-Agenten, die selber ansteuere.

00:33:26: Ich hab am Ende von dem Tag habe ich einen prompt Und der kann sogar ein Team sein, also die Leute da abholen oder einen Slack.

00:33:32: Also das, womit die Leute täglich arbeiten und dann statt einem Kollegen zu schreiben, schreiben sie im künstlichen Kollege seiner KI.

00:33:40: Und stellt eine Frage und im Hintergrund wird eben dieses Agent-Netzwerk angestoßen und der muss sich gar nicht vorher überlegen wie steht die Zahl, die ich jetzt habe mit dem SAP?

00:33:48: oder in Databricks oder in Planning Analytics?

00:33:50: Sondern die stellt einfach die Frage und dann kriegt er die Antwort.

00:33:54: Die fünf Millionen als Antwort geliefert Und vielleicht auch Wunsch noch die Infobox herkann, wenn sie das um Vertrauen zu schaffen.

00:34:01: Aber ein super niedrigschwelliges Angebot wie Leute wirklich da abholen wo sie sich befinden und natürlich auch einfach aufzeigen, wo es ihre Prozesse einfacher macht.

00:34:11: Wo Sie jetzt schneller agieren können, wo Sie eben schnellere Entscheidungen treffen können ja nicht einfach nur noch mehr Arbeit haben.

00:34:16: Ja absolut sehr schön Christoph.

00:34:20: abschließend Wenn jetzt jemand sagt, ja wollen also jetzt weiß ich eigentlich wie es geht und die Chancen sollten uns wirklich nicht entgehen lassen.

00:34:29: Was ist deine Empfehlung?

00:34:30: Was ist das erste was man morgen früh tun sollte?

00:34:34: Das erste was wir morgen früh tut ist sich überlegen welche Prozesse wo man eben diese Effizienzen heben möchte.

00:34:41: Wo kann man etwas besser machen?

00:34:44: und dann einfach mit einem POC starten, weil nicht damit starten gerade aus Sicht des zentralen Kontrollings oder den Leuten auf den centralen Daten-Töpeln setzen.

00:34:52: Nicht starten ist keine Option, weil links und rechts rennen die Leute los mit Excel-Dateien, mit Cloud and Excel, mit ChatGPt und Excel Dateien und Vibecoding-Dashboards.

00:35:03: Rennen die Leute sowieso los?

00:35:04: Also mal nichts machen ist keine Auktion.

00:35:07: und deswegen starten aber auch kleinen Starten iterativ rangehen.

00:35:13: Nicht sagen wir brauchen jetzt in sechs Monaten eine KI für Zehntausende Leute, sondern wir müssen klein starten.

00:35:18: Wir müssen da gucken wo es im Prozess schmerzt und da müssen wir Abhilfe schaffen.

00:35:23: Sehr schön!

00:35:24: Vielen vielen Dank Christoph.

00:35:26: Ich wollte noch darauf hinweisen, alle die sich mit diesen Themen auseinandersetzen sind herzlich eingeladen zum Data and AI Summit von BAG am elften und zwölften November.

00:35:35: Da geht es genau um die Frage wie man mit AI Wert schaffen kann?

00:35:39: Wie man es in die Organisation bringen kann?

00:35:41: Und gibt das sicherlich noch sehr viele spannende Hinweise.

00:35:44: Westen Dank Christoph!

00:35:45: Und dann sage ich nur bis bald.

00:35:46: Ciao.