Folge 4: Ferrari vs. Brötchenholen - Lokale KI & Agentische Systeme

00:00:01: Willkommen

00:00:06: zu FIDASPRICHT, deine Podcaste rund um künstliche Intelligenz.

00:00:11: Hier dreht sich alles um die Technologien, die unsere Zukunft gestalten – verständlich, praxisnah und auf den Punkt gebracht!

00:00:19: Hallo und herzlich willkommen zu Fidaspricht, dem Podcast rund um Digitalisierung, Daten- und künstlichen Intelligenzen.

00:00:26: Heute in einem etwas neuen Format.

00:00:28: Direktor spontaner und näher dran an den Themen, die Unternehmen aktuell wirklich beschäftigen.

00:00:32: Ich bin Lisa und bei mir ist Björn.

00:00:34: Schön, dass du da bist!

00:00:35: Hallo Lisa

00:00:37: Wir haben ja in der Vergangenheit schon einige Podcast-Folgen aufgenommen allerdings in einem etwas anderen Setup.

00:00:43: Heute starten wir mit Fiderspricht ein neues Format.

00:00:45: Was war denn der Auslöser dafür das Format zu ändern?

00:00:48: Naja,

00:00:48: wir haben das Formate nicht komplett umgeschmissen und geändert sondern wir wollten ja nach wie vor haben wir die gleiche Zielsetzung die Menschen abholen, mit Menschen ins Gespräch kommen und einen Podcast produzieren der hoffentlich informativ ist.

00:01:03: Und den Menschen mehr wert gibt.

00:01:06: Weil wir sowieso jetzt in der FIDE ein eigenes kleines Tonstudio haben, haben uns das Format etwas anders überlegt.

00:01:12: Wir wollen jetzt sozusagen regelmäßiger und spontaner auch reagieren können.

00:01:17: Gerade Spontanität ist bei dem Thema KI sehr wichtig weil eigentlich wöchentlich neue ja bahnbrechende Nachrichten durch die Medien kursieren und wir wollen einfach darauf eingehen können.

00:01:29: Und ja, deswegen machen wir das in etwas anderem Format jetzt bei uns im Eckenhaus.

00:01:33: KD, du hast eben schon das Thema KI angesprochen?

00:01:36: Wenn man sich aktuell anschaut was rund um das Thema AI passiert hat man schon das Gefühl dass ich gerade etwas verschiebt.

00:01:41: am Anfang ging es viel um Tools wie Chatchivity und klassische CloudKI.

00:01:46: Inzwischen tauchen aber immer mehr andere Themen auf, also lokale KI Agents oder auch spezielle Hardware für KI.

00:01:52: Täuscht dieser Eindruck?

00:01:53: Oder verändert sich gerade wirklich die Art wie Unternehmen-KI einsetzen?

00:01:57: Die Art was KI mit uns macht, verändert sich wahrscheinlich wöchentlich.

00:02:01: Das ist das, was ich gerade schon meinte.

00:02:02: wir haben jede Woche neue Möglichkeiten und neue Chancen Und jede Woche wird eigentlich die Notwendigkeit sich mit dem Thema zu beschäftigen wichtiger.

00:02:10: Das merken wir bei und dem, wie wir selber mit KI umgehen.

00:02:13: als wir noch davon gesprochen haben dass wir vor einem Jahr oder vor zwei Jahren angefangen haben Datenschutzkonformen Sprachmodelle bereitzustellen andersom zu sagen das wir ChatGbt bereitstellen für unsere Firma Für die Menschen unserer Firma reden wir jetzt schon von ganz anderen Themen.

00:02:29: Stichwort agentische KI oder wo liegen die Daten?

00:02:32: Das war natürlich letztes Jahr schon ein Thema.

00:02:34: Auch da erinnert sich regelmäßig was bis hin zu den neuesten Hypes, die wir von Open Glorps bis anderen Themen, die durch die Medien gehen, die natürlich total spannend sind.

00:02:42: Also ja es ändert sich der Umgang mit KI.

00:02:44: ich will nicht sagen stündlich aber doch schon sehr, sehr regelmäßig.

00:02:48: Okay, und das heißt wir sehen da gerade schon eine deutliche Entwicklung weg von einer reinen Cloud-Nutzung hin zu mehr eigener KI im Unternehmen und neuen Ansätzen.

00:02:55: Und genau an der Stelle wird es ja auch spannend weil dann plötzlich neue Fragen aufkommen.

00:02:59: also wie baut man solche Systeme auf?

00:03:01: was steckt technisch dahinter?

00:03:02: Was bedeutet das konkret für Unternehmen?

00:03:05: Bevor wir natürlich weiter spekulieren holen wir jetzt jemandem dazu der sich mit diesen Fragen täglich beschäftigt.

00:03:12: Simon aus unserem Data Science Team.

00:03:14: Schön, dass du da bist!

00:03:14: Ja

00:03:15: hallo, freut mich sehr hier sein zu dürfen.

00:03:17: Für alle die dich noch nicht kennen stelle dich doch gerne mal kurz vor und erzähle unseren Zuhören was deine Rolle bei Fida ist und mit welchen Themen du tagtäglich konfrontiert wirst.

00:03:26: Sehr, sehr gern!

00:03:27: Ich bin Data Scientist und Head of Academy bei der FIDA.

00:03:30: das seit zweieinhalb Jahren bau dort an den KI-Produkten mit und jetzt im Bereich Academy bin ich hauptsächlich verantwortlich für die KI Trainings, die wir bei unterschiedlichen Unternehmen durchführen mache das also sehr gerne und freue mich jetzt sehr hier sein zu dürfen.

00:03:48: Simon, wenn man das so hört verändert sich gerade wirklich grundlegend wie Unternehmen KI einsetzen.

00:03:53: oder sind es eher einzelne Trends die gerade einfach zusammenkommen?

00:03:56: Ich habe schon den Eindruck auch aus den ganzen Salespitches an vielen Stellen machen.

00:04:03: Den Webinaren, die wir halten, den Vorträgen, dass für viele gerade sich ernsthaft die Möglichkeit eröffnet mit lokaler KI anzufangen Sprachmodelle auf eigener Hardware zu hosten und dann UnternehmensGPTs aufzusetzen, die nicht mehr an irgendeine Cloud gebunden sind.

00:04:28: Und wo es ein wesentlich geringeres Gefühl des Verlustes von Daten gibt... Und deswegen würde ich schon behaupten, dass wir gerade einen sehr starken Wandel gerade im Bereich KMUs sehen was die Nutzung oder bei vielen auch erst mal nur die Einführungen von KI betrifft.

00:04:52: Warum ist das so?

00:04:52: Also war am gehen viele Unternehmen jetzt gerade diesen Schritt weg vom Rainer CloudKI hin zur eigenen Lösung?

00:04:58: Weil es zunächst einmal einfach möglich geworden ist.

00:05:02: bis vor noch nicht allzu langer Zeit war die gängige Meinung, ich müsste mindestens zwanzig bis dreißig oder vierzigtausend Euro für Hardware ausgeben.

00:05:14: Für die allergrößten Modelle ist das auch immer noch so aber man kann mittlerweile sehr leistungsfähige Modelle auch auf deutlich günstigeren Geräte hosten.

00:05:23: sprich es sind eigentlich zwei Entwicklungen.

00:05:26: Es gibt hardware die günstigen geworden ist und auf der anderen Seite sehen wir dass auch mittelgroße Modelle sehr leistungsfähig sind.

00:05:36: Also es gibt die Champions League wenn man so will, der besten und tollsten und neuesten Modelle.

00:05:42: Die sind auch für diese kleineren Hardwares von denen ich spreche unerreichbar.

00:05:47: Die kann man darauf nicht laufen lassen.

00:05:49: aber viele bemerken auch das sie das für ihre konkreten Use Gases gar nicht unbedingt brauchen.

00:05:55: Das heißt ein mittelgroßes Sprachmodell was sehr GPU, weil eine Grafikkarte braucht man in jedem Falle ist für extrem viele Anwendungsfälle vollkommen ausreichend.

00:06:09: Vielleicht auch noch mal einzuspringen.

00:06:12: Du hast gesagt, viele stellen die Nutzung um.

00:06:15: Es ist ja nach wie vor so das viele noch gar nicht in der Nutzungen drin sind und Angst vor der Cloud-Nutzung hatten oder haben, weil sie aus Nachfolge sie machen gründen also... Ich kann es nachvollziehen, auch wenn es nicht unbedingt technisch begründet ist sagen.

00:06:28: Sie wollen auf keinen Fall dass ihre Daten in der Cloud liegen.

00:06:30: sie wollen unbedingt das alles lokal ist und diese Möglichkeiten gibt es jetzt zu vernünftigen Preisen auch.

00:06:37: Das macht einfach für ganz viele Unternehmen noch einen Unterschied was vorher halt auf jeden Fall nur in der Cloud gewesen ist.

00:06:44: Aber auch eine Cloud ist eigentlich nicht eine Cloud, auch da gibt es ja, ich sage mal so Möglichkeiten die Daten innerhalb der EU zu haben wenn man möchte innerhalb Deutschlands zu haben.

00:06:51: also auch da gab's ja verschiedene Möglichkeiten des Houstings und mein Beispiel ist immer nur Die meisten Unternehmen nutzen ja nach wie vor Microsoft Windows und geben alles was sie haben Informationen Wirt und Excel ein.

00:07:02: Auch da denkt man ja nicht eine Sekunde darüber nach.

00:07:04: Was passiert eigentlich mit den Daten, die ich da Microsoft bereitstelle?

00:07:07: Natürlich gibt es auch das Versprechen von Microsoft, die Daten nicht zu missbrauchen.

00:07:10: Bei KI ist man irgendwie sensibler und geht anders damit um.

00:07:13: Also lange Rede kurzer Sinn.

00:07:15: Es hat sich technisch wieder ein bisschen was verändert, was für die Unternehmen interessanter macht, die sagen, ich möchte meine Daten lokal haben.

00:07:19: Könnt ihr uns anzuhören oder eine kurze Größenordnung nennen, wo der Einstieg sich befindet?

00:07:25: Wir sprechen hier von so... kleinen kistenartigen Gegenständen.

00:07:30: Wir nennen sie hier gerne auch die goldene Kiste, wenn es um das DJX Spark von Nvidia geht.

00:07:37: Genauso gut könnte man aber auch ein Mac Mini nehmen, wenn man in der Mac-Welt zu Hause ist.

00:07:41: Es gibt ja auch noch günstigere Anbieter.

00:07:46: wir sprechen von einer Größenordnung von ich sage mal so round about viertausend Euro.

00:07:53: logischerweise kann ich da jetzt nicht sofort zwei hundert oder drei Hundert Nutzer gleichzeitig drauf schalten.

00:07:59: Also wenn ein Sprachmodell auf so einem Gerät liegt, hat das eine bis zu einem gewissen Grad begrenzte Nutzerzahl ist irgendwo logisch, aber die liegt jetzt auch nicht bei fünf.

00:08:10: Also wir haben da auch schon Belastungstests schon gefahren.

00:08:14: man kann gut und gerne sieben draufpacken können noch mehr darauf packen.

00:08:19: also es war kein Problem.

00:08:21: gerade für KMUs ist das ein sehr realistischer Case dass man mit einer und lass es hoch kommen zwei solcher Kisten auskommt.

00:08:30: dort hostet man sein Sprachmodell oder auch mehrere und kann dort dann auch use-case spezifisch die unterschiedlichen Sprachmodelle nutzen.

00:08:40: Das kommt vielleicht auch noch hinzu, was auch unterschätzt ist.

00:08:43: wir reden gerne in unseren Kursen immer davon es gibt specialisierte Modelle hier für specialiserte Modelle dafür und hierfür und dafür.

00:08:51: Die Realität bei UnternehmensGBT sieht aber meistens so aus naja Wir haben JetGPT-Modell also ein Open AI Modell Vielleicht zwei oder drei unterschiedliche Versionen von Open AI Aber sehr selten sehe ich Unternehmens-Gyptis, wo dann Gemini drin ist.

00:09:04: Wo dann Mistral drin ist?

00:09:05: Wo dann ChatGypity drin ist und Klo drin ist weil es einfach dann sehr teuer ist.

00:09:10: Weil dann habe ich nicht eine Tokenabrechnung sondern fünf sechs sieben acht neunzehn.

00:09:14: Und das ist natürlich auch der Charme von lokaler KI Dass sich dort viel einfacher und in dem Grunde auch viel kostengünstiger mir unterschiedlichste Modelle für meine jeweiligen Use Cases dort ziehen kann, Open Source Modelle und dann je nach Use Case eben auch verwenden kann.

00:09:35: Ein Kollege von uns hat immer den Begriff geprägt im Autistischen Modell also die Modelle, die im Endeffekt sehr gut sind in einfachen Tätigkeiten und die ja auch beliebig oft wiederholen können aber im Endefekt auch darauf eingeschränkt sind Und das ist vielleicht auch so etwas, was in Richtung Mittelständischen daneben eine Rolle spielen kann.

00:09:49: Man möchte ja nicht jedes Mal die Liedgenerierung poetischer Texte oder halt die voll verwendete Form von den neuesten Sprachmodellen, sondern man braucht ja in der Regel einen ganz einfachen Anwendungsfall durch Spreßwärme von Use Cases.

00:10:01: Das ist für uns mittlerweile ja der Standardbegriff.

00:10:04: Wir versuchen mit unseren Kunden zu schauen, was sind die Tätigkeiten?

00:10:07: Ich verweise auf die Folge leidige Themen also.

00:10:09: Was sind die Täthigkeiten, die mich richtig nerven und mir Zeit kosten, die aber oft gar nicht so komplex sind?

00:10:16: Und dann brauche ich eben nicht das super große Sprachmodell, was unglaublich viel Rechnennetzung braucht.

00:10:20: Sondern vielleicht reicht da ein ganz einfaches Modell, das aber genau für diese Tätigkeit spezialisiert ist.

00:10:25: und das ist jetzt der wesentliche Unterschied zuvorher, dass man das jetzt sehr, sehr einfach auch bei sich im Eigenhaus ja bereitstellen kann.

00:10:32: Vielleicht

00:10:32: kann man da das Bild nutzen von... Also Ferrari ist ein wunderschönes Auto mehr oder weniger jeder, der ein bisschen Autoverstand hat liebt in Anführungszeichen so etwas wie ein Ferrari.

00:10:47: Aber es wissen auch alle ist relativ sinnfrei mit dem Ferrari Brötchen holen zu fahren.

00:10:52: also wir brauchen nicht und der Ferrari ist an dieser Stelle dann das allerneuste Modell von Open AI Google Deep Seek was auch gemacht.

00:11:00: Das brauchen wir nicht zum Brötchel holen für irgendwelche Hochleistungsanwendungen wunderbar und dann kann man sich vielleicht auch für solche ganz speziellen Fälle auf irgendwelche Cloudmodelle stützen.

00:11:14: Aber für alles andere ist vollkommen richtig, was du sagst gibt es super viele mittelgroße bis sogar ganz kleine Modelle die aber leistungsfähig genug sind um gerade diese leidigen Themen irgendwelche Formulare ausfühlen, irgendwelchen Anträge schreiben, vorab formulieren Mails antworten.

00:11:36: Dafür sind die vollkommen ausreichend.

00:11:37: Können wir vielleicht noch mal einen Schritt zurückgehen?

00:11:39: Also wir haben jetzt hier auch so eine goldene Kiste in der Mitte stehen.

00:11:42: für mich sieht das aus wie ja ne externe Festplatte.

00:11:45: also ich als Unternehmer oder Unternehmerin kaufen mir so eine goldene Kiste.

00:11:50: was mache ich dann damit?

00:11:53: Einfach erklärt für Leinen.

00:11:56: Also du hast willkommen recht, das ist eine kleine goldene Kiste.

00:11:58: Ich bin bevor ich mich jetzt wieder dem technischen Sachverstand beugehend zumindest meine unqualifizierten Bemerkungen dazu.

00:12:03: Das Gerät ist tatsächlich eine kleine goldene Kiste die aus Gründen die wahrscheinlich nur in Video weiß extrem ständig gestaltet ist.

00:12:09: also es wirklichen könnte man sich ins Wohnzimmer stellen.

00:12:11: Es sieht weit und nicht aus wie ein Computer oder irgendwelche Anbauteile davon.

00:12:15: Es sieht tatsächlich aus wie eine kleine goldene Kiste.

00:12:19: Ich dachte erst, es wäre ne Festplatte!

00:12:21: Aber Simon hat mich aufgeklärt...

00:12:22: Das ist ja eine sehr schöne

00:12:23: Festplatterein.

00:12:24: Auch ein bisschen teurer als eine normale Festplattae.

00:12:29: Was wären dann die Schritte?

00:12:30: Ich müsste mir dort Systeme oder Programme herunterladen, die darauf spezialisiert sind Sprachmodelle zu hosten.

00:12:38: Also das Sprach-Modell bereitzustellen für die Nutzung.

00:12:42: Dafür gibt es Programme, die Out of the Box funktionieren.

00:12:46: Die lädt man herunter wie jedes andere Programm was man mal auch privat herunterlädt und installiert.

00:12:52: dann lädt man sich dort das Modell der Wahl herunter.

00:12:56: Die sind in einer Maske auswählbar, da brauche ich auch keinen technischen Sachverstand mehr.

00:13:01: Das ist eine Maske.

00:13:05: ein Modell anklicken und sagen bitte lade jetzt dieses Modell herunter!

00:13:08: Okay, das wäre meine Zwischenfrage gewesen ob ich unbedingt einen Data Scientistin dazu brauche.

00:13:13: Da wir unsere Fähigkeiten noch weiterhin gerne verkaufen wollen, raten wir dazu das nicht ohne ein Data Scientist zu machen.

00:13:21: Es ist aber auch für einen Data Scientisten eine relativ einfache und simple Übung ein DJI Spark mit den entsprechenden Programmen auszustatten dass dort Sprachmodelle herunterladbar sind und bereitgestellt werden können wie unser FIDER GPT, ein Unternehmens-GPT sein.

00:13:42: Da gibt es aber auch einfachere Versionen die noch spartanischer daherkommen.

00:13:45: da kann man letztlich ist man da vollkommen frei haben.

00:13:48: also typischerweise macht man eben installiert man zwei Programme.

00:13:52: das eine ist das Programm was die Sprachmodelle bereitstellt und das andere ist einfach nur des Chatinterface.

00:13:58: wo ich mir dann ausfählen kann.

00:13:59: möchte ich jetzt einen Chat Interface mit mehr Funktionalitäten, Chat Historie wie auch immer oder reicht mir eine superspartanische Lösung?

00:14:06: Das ist dann meinem konkreten Anwendungsfall geschultet.

00:14:11: Und das war's, dann funktioniert es?

00:14:12: Dann müsste ich mir natürlich noch überlegen bin ich jetzt der einzelne einzige Nutzer oder habe ich vielleicht fünf sechs sieben acht neunzehn Nutzern.

00:14:21: Dann müsste Ich mir noch überlegt wie ich das in meinem Firmen Netzwerk davon.

00:14:26: gehen wir mal davon aus dass eine Firma die in so etwas investiert auch ein eigenes Firmenwählern hat.

00:14:32: Müsste ich mich natürlich überlegen Wie ich das dort bereitstelle.

00:14:35: wenn wir wenn wir dort das Sprachmodell graphisches Interface bereitgestellt haben, müssen wir eigentlich nur noch überlegen welchen Benutzerkreis wir das zugänglich machen wollen.

00:14:46: Dafür brauchen wir dann ein Netzwerkadministratort der dort in der Lage ist es so freizuschalten dass jeder von seinem Firmenrechner dann dort drauf zugreifen kann.

00:14:56: und dann bin ich mit der einfachsten Anwendung fertig!

00:14:59: Dann habe komplexeren Newscase umgesetzt, der vielleicht dann in Richtung agentische KI geht.

00:15:06: Also das ist wirklich erst mal nur das Setup.

00:15:08: ich habe ein Sprachmodell gehostet oder mehrere bereitgestellt und einen Chatinterface.

00:15:14: Dann kann nicht chatten.

00:15:15: aber jetzt wollen wir ja eigentlich dass diese Sprachmodelle für uns konkrete Aufgaben übernehmen.

00:15:20: Aber was ich damit erreicht habe?

00:15:21: Das ist ja jetzt eine Kunde immer so schön gesagt, damit es der Bumms sicher Und da kann man sich ihre Firma nämlich genauer teilen, dass man dann den Mitarbeiterinnen und Mitarbeitern ein Sprachmodell bereitgestellt hat mit dem sie arbeiten können.

00:15:33: Und die Firmen daten eben nicht irgendwie öffentliche Chat-Modelle wie OpenAI oder Chatmodelle also Sprachmodele oder OpenAI bei ChatGPT oder bei Claude oder Kroaku.

00:15:43: Da war so rummer gerade auf dem Markt unterwegs ist reinstellen sondern man hat zumindestens den ersten Schritt geschafft.

00:15:48: Das ist ja wirklich nur der erste Schritt das man überhaupt den Menschen sozusagen KI anbietet um es zu nutzen.

00:15:54: Und das ist ja auch das, was wir unseren Kunden immer sagen.

00:15:56: Das ist nicht das, weswegen mir die Projekte gehen?

00:15:58: Das ist der Teil, der für uns eher der langweilige ist und der Spannende ist, um dann eben genau die weiteren Use Cases anwendungsfälle zu finden, zu diskutieren und umzusetzen.

00:16:06: Gestern Abend auf dem Event wo wir waren, Simon da kam noch eine Frage.

00:16:08: vielleicht kann ich die einfach nochmal aufgreifen weil das vielleicht auch vielen nicht klar ist, kann man diese goldene Kiste dann einfach irgendwann das Internet anbinden oder ist sie wirklich einfach lokal hat kein Zugang.

00:16:19: Also

00:16:19: jetzt ganz konkret diese Kiste von NVIDIA, dieses DJX

00:16:23: Spark

00:16:24: hatte natürlich auch eine Möglichkeit sich darüber in einen WLAN einzuwählen und dann hat dieses Ding auch ein Internetzugang und dann kann ich dort natürlich auch... das hat auch ein kleines Betriebssystem Linux basiert, da kann nicht dort auch ganz einfach ein Web Browser öffnen auf dem Ding und im Internet zu öffen Was wiederum bedeutet, natürlich kann ich dann auch dort über unterschiedliche Wege je nach Anwendungsfall meinem Sprachmodell die Möglichkeit geben sich mit den Aufgaben die es bekommt ins Internet zu begeben und dort eventuell sich die nötigen Informationen zu ziehen um dann eben seine Aufgabe erfolgreich abzuschließen.

00:17:07: Auch das ist möglich.

00:17:09: Aber ist das dann jetzt wirklich so der absolute Gamechanger oder wirklich eher ein Spezialthema für wenige Unternehmen?

00:17:16: Ich habe schon das Gefühl, dass gerade die KMUs noch sehr gezögert haben was die Einführung von KE betrifft bzw.

00:17:26: bis wahrscheinlich sehr weitestgehend auch SchattenKE irgendwo still toleriert haben.

00:17:32: sprich die Leute haben ihre private Chatchi-Bitier-Counts genutzt oder nutzen es häufig wahrscheinlich immer noch Und man hat sich so ein bisschen drum gedrückt, mal da wirklich drüber nachzudenken ob man einen Unternehmensgypethie braucht.

00:17:45: Ich denke mit der Möglichkeit das lokal hochzuziehen und lokal zu verwenden eröffnen sich wirklich aus meiner Sicht neue Wege und gerade für GPUs KMUs neue Möglichkeiten KI umzusetzen.

00:18:02: Ich war ja gestern auf ein Parallel-Event zu euch und ich hatte genau mit einer Unternehmerin ein Gespräch dazu, ihr habt auch gesagt naja sie hat schon sehr konkrete Ideen was Sie gerne machen möchte die wir auch schon Veranstaltung auf Messen ist also durchaus im Thema KI bewandert hat aber noch die Hürde dass sie Angst davor hatte das in die Glaub zu geben weil sie damit Abrechnungsthemen machen möchte.

00:18:26: Also auch weitere Themen machen möchte, wo sie für sich selber bewertet?

00:18:29: Das finde ich jetzt ein bisschen sensibel.

00:18:31: Es war noch ein Thema, wo ich gesagt habe da hätte ich vielleicht gar nicht so die große Angst, wir reden jetzt nicht von medizinischen Daten oder von supergeheimen persönlichen Daten.

00:18:37: natürlich wenn es auf einmal vielleicht um Gehaltszahlungen geht dann wird das schon ein bisschen schwieriger.

00:18:42: Aber ich sag ja so, das nutzen viele mittlerweile auch in Office-Tronetfünftig in irgendeiner Cloud.

00:18:48: Wo ist dann wirklich der Unterschied zu dem was jetzt die KI machen würde?

00:18:52: Und für die ist es schon komplett andere Möglichkeit zu wissen dass man genau solche Themen dann lokal bei sich hätte und dann noch einsetzen kann.

00:18:59: Das ist ja auch eine bewusstsonehmerische Entscheidung.

00:19:01: deswegen kritisiere ich sie nicht dafür, dass sie das so oder so sieht sondern sie trägt im Endeffekt dafür die Verantwortung also in jichtlicher Hinsicht.

00:19:07: Also auch wenn's da einen Datenverlust geben würde, sie steht dafür auch in der Haftung im Zweifel Und deswegen ist es schon Unterschied, ob ich so etwas sehr lokal habe und komplett die Hoheit darüber habe.

00:19:17: Und auch wirklich hundertprozentig sicher bin, dass die Daten nicht für weitere Trainings von den folgenden Modellen genutzt werden.

00:19:23: oder ob ich nur die vertragliche Zuversicht habe oder Zusicherung habe, das ist das Modellambi, das die Daten nichts verwenden.

00:19:29: Es ist schon Unterschied.

00:19:30: Das verstehe ich.

00:19:31: Insofern haben wir halt jetzt mal wieder einen technischen Schub gehabt in dem es jetzt die Möglichkeit gibt, zu vernünftigen Preisen einzusetzen.

00:19:39: Bis jetzt haben wir eher von, glaubt aus die Zahl gesagt, vierzig-fünfzigtausend dafür gesprochen und das ist natürlich für den Mittelständler schon eine ganz andere Nummer als wenn ich mal über Vierfünftausende Euro rede.

00:19:48: Aber Elisa, du, wir haben viel vom Mittelstand gesprochen.

00:19:50: Wir sind ja selber im Mittelstand.

00:19:52: Vielleicht möchtest Du ja mal berichten wo wir die ersten Agenten bei uns einsetzen weil das nächste Thema auch agentische KI Das ist ja neulich Schlagwort was immer wieder hochkommt.

00:20:00: Wir haben ja immer die ganze Zeit von generativer KI gesprochen.

00:20:02: Jetzt ist ja das Thema agentische KI Ein großes.

00:20:06: Wo nutzt ihr denn das jetzt im Kontext Marketing, Vertrieb und generell vielleicht in der Fieder?

00:20:11: Also wo nutzen wir es?

00:20:12: aber speziell sind ja die Fieder.

00:20:14: Aber wo nutzt du es dann konkret in deinem Umfeld?

00:20:16: Wir im Marketing Team haben beispielsweise einen Social Media Agenten uns gebaut, wo wir natürlich unsere Texte da reingepackt haben und dass sozusagen angereichert haben mit unserem Stil wie schreiben wir was worauf legen wir Wert?

00:20:33: Das funktioniert tatsächlich ganz gut, was da rauskommt.

00:20:37: Björn wir haben ja noch einen anderen coolen Anwendungsfeier bei uns im Unternehmen gebaut.

00:20:41: Vielleicht kannst du den ja nochmal kurz vorstellen?

00:20:43: Ja also damit auch das Bild des Agenten nochmal klar wird.

00:20:47: Also in seinem letzten Podcast haben wir darüber die FIT Academy gesprochen nicht nicht die FBI Academy um das nochmal aufzugreifen.

00:20:53: wer das jetzt nicht versteht sollte vielleicht nochmal die vorgehenden Folgen hören.

00:20:58: Die sich so oder so natürlich lohnen.

00:21:00: Die Diagenten kann man sich im Endeffekt vorstellen, also wer schon mal ChatGVT und Co.

00:21:05: gesehen hat?

00:21:05: Man hat ja da irgendwie eine Eingabeaufforderung, dann gibt man Texteinkriegstext raus!

00:21:09: Und das ist ja jedes Mal erstmal beliebig standardisiert ähnlich... ...und der große Vorteil bei den Agenten ist dass man sozusagen ein spezielles ChatGvt, ich nehm mir das nicht mehr mal bei dem Hersteller wenn man so möchte einen Sprachmodellaufruf was genau für einen Anwendungsfall vorbereitet ist und der hat genaue Anweisungen, wie er mit der Eingabe umgehen soll.

00:21:30: Der weiß genau was er für Fragen stellen muss und hat dann Handlungsanweisung welches Ergebnis er erzielen muss.

00:21:35: Und wir haben uns darüber auch Gedanken gemacht was wir da einführen könnten und weil wir ja ein durchaus innovatives Unternehmen sind, haben wir auch immer mal wieder Ideen von Mitarbeitern die wir in irgendeiner Form verarbeiten müssen.

00:21:46: Wir haben uns dazu einen Agenten gebaut, ein Innovationsagent den man die Nieder in der Firma aufrufen kann.

00:21:52: und dann sagt man nur, ich habe eine neue Idee.

00:21:54: Können wir das mal eben besprechen?

00:21:56: Dann kriegt man von einem Agenten singt mir jetzt die Antwort ja erzähl mal was hast du für eine Idee.

00:21:59: Und dann sagt man, ja ich habe mir dieses Genes überlegt.

00:22:01: Ich möchte zum Beispiel einen Innovationsagenten erstellen lassen.

00:22:04: Achja das ist ja cool!

00:22:06: Hast du schon mal darüber nachgedacht was es bedeutet?

00:22:08: Ich hab mal kurz recherchiert auf dem Markt gibt es dieses und jenes.

00:22:11: Welche technische Basis soll das sein?

00:22:14: Dann beantwortet man das in so ein Frage-Anfortspiel, dann kommen auch Hinweise wie also die Idee würde ich erstmal gut bewerten oder als vielleicht nicht gut weil das gibt's es schon oder das ist nicht realistisch.

00:22:22: Also man kriegt da schon in der Diskussion mit diesem Agenten ein gewisses Feedback über die Qualität die sich mit sich bringen kann.

00:22:30: Und durch die Fragestellungen, am Ende kommt dann so also das haben wir jetzt alles besprochen.

00:22:33: Jetzt fehlt mir vielleicht noch die oder die Information?

00:22:35: Oder wer wäre die perfekte Zielgruppe?

00:22:37: oder habt ihr schon die?

00:22:38: hast du schon Idee welche Kunden das betreffen würde sodass der Agent sozusagen in der Diskussion mit dir diese Idee verfeinert und arbeitet und im Ende kommt eine Idee steckt ein Ideensteckbrief raus.

00:22:49: Was ist der große Unterschied?

00:22:50: Früher hatten wir oftmals Menschen, die hatten Ideen.

00:22:52: und spätestens wenn man Dinge gesagt hat so jetzt machen wir eine wirtschaftliche Betrachtung.

00:22:54: Und vielleicht schreibt noch mal macht man das Wortanalyse dann kommt man sehr schnell zum Ergebnis dass die Leute gesagt naja so wichtig war die Idee jetzt doch nicht.

00:23:02: und durch diesen Agenten haben halt die wunderbare Möglichkeit das standardisiert abzulegen und ja sozusagen die Innovations die Innovation Kraft zu fördern.

00:23:08: und das ist jetzt ein Agent Das habe ich ganz lange darüber gesprochen, die aber im Endeffekt sind bildtie für viele andere Anwendungsfälle in Unternehmen stehen kann.

00:23:14: Okay

00:23:14: und diese Agenten können auch einfach lokal betrieben werden?

00:23:17: Im

00:23:17: Grunde ist das überhaupt kein Problem weil eigentlich bedeutet ein Agent nichts anderes als dass sich ein Sprachmodell habe, da es sehr weitreichende Rechte bekommt auf meinem Computer Dinger auszuführen also dass jetzt nicht einfach nur Text ausgibt sondern über die Formulierung von Sprachbefehlen, zum Beispiel meine Programme steuern darf und dann je nachdem wie weit ich das fasse seine rechte Zuschreibung auch tatsächlich in andere Systeme schreiben darf dort lesen darf usw.

00:23:53: Das heißt letztlich ist es ein System dass anfängt Menschen ähnlich den Computer zu steueren Wenn man so will, dass Gehirn in Anführungszeichen dahinter ist das Sprachmodell.

00:24:04: Dass die Aufgabe versteht und dann die Aufgaben verteilt an unterschiedliche Tools, die es gegebenenfalls zur Verfügung hat ein Internet suchetool einen Taschenrechner-Tool zum Beispiel um das klassische Problem des Sprachmodelle nicht so gut rechnen können zu lösen.

00:24:22: Und so kann eben auch lokal sehr schnell einen KI Agentensystem hochgezogen werden.

00:24:29: Was mir da vielleicht noch wichtig ist, daran zu betonen.

00:24:32: Gerade wenn ich in die Richtung agentische KI gehen möchte, ist es unter Umständen sehr viel lohner das Lokal zu machen weil KI-Agendensysteme häufig einen sehr hohen Tokenverbraucher und Die Abrechnung von cloud basierten Sprachmodellen läuft über die Generierten und eingelesenen Token von den Sprachmodellen.

00:24:55: Token ist die Einheit in denen die Sprach Modelle Sprache produzieren ist ähnlich zu unseren Seelben von der Größenordnung her.

00:25:02: Das heißt, wenn ich ein agentisches System mit einem cloudbasiertem Modell betreibe und da war kann nicht machen dann habe ich eventuell das Ferrari-Modell.

00:25:12: aber es kann eben auch passieren dass sich sehr hohe Tokenabrechnung gekommen sind wenn die Aufgabe sehr komplex ist und der Agent sehr viel nachdenken muss und sehr viele unterschiedliche Schritte tun muss.

00:25:21: Wenn ich das alles lokal habe brauche ich mir darüber ja keine Gedanken zu machen die Aufgabe auch drei Stunden dauern, wenn dadurch eine Aufgabe für die der Mensch fünf Stundenbrauch abgelöst wird.

00:25:32: Kein Problem und ich habe keine Angst vor nachgereichten horrenden Tokenabrichtungen zu

00:25:40: haben.".

00:25:40: Und

00:25:40: was würdest du jetzt sagen ist der Punkt wo es sich dann wirklich lohnt?

00:25:48: Wir bei der FIDA setzen nur Dinge um, wo ein Business Case hintersteht.

00:25:51: Das heißt wir schauen vorher ganz genau.

00:25:54: was steht dafür?

00:25:55: Ein menschlicher Prozess bevor wir überhaupt etwas umsetzen lassen uns genau von Kunden beziffern.

00:26:03: Was ist das für einen zeitliche Aufwand, der hinter diesem Prozess steht?

00:26:06: wie häufig wird er durchgeführt?

00:26:08: d.h.

00:26:08: Bevor wir irgendetwas umsehen umsetzten machen wir im Grunde eine Prozessaufnahme Prozessberatung.

00:26:16: Wenn wir dann sehen, dort ist ein Prozess der wird jeden Tag eine Stunde zwei Stunden drei Stunden ausgeführt und im besten Falle auch noch Prozesse die keine wertschöpfende Tätigkeit sind.

00:26:26: Da sind wir wieder bei den leidigen Themen.

00:26:28: gestern war ich bei einer Firma die Lokomotiven repariert.

00:26:34: Da müssen leider immer noch sehr viele Informationen von händisch geschriebenen Zetteln in Excel-Dateien überführt werden.

00:26:43: Händisch An keinem Punkt ist das eine wertschöpfende Tätigkeit.

00:26:49: Das kann man sehr gut mit einem agentischen lokal gehosteten System lösen, da muss ich die händische Notiz, die ich da reingereicht bekomme abfotografieren und sie lande sofort in der Excel.

00:26:59: Und diese Kriterin, die das aktuell händisch macht hätte Zeit um viel wertschöffendere, viel sinnvollere Tätigkeiten auszufüllen.

00:27:08: Ja,

00:27:08: das kann ich mir vorstellen!

00:27:10: Wir haben ja den wunderbaren Vorteil, dass unsere Regierung hier alles dazu beiträgt.

00:27:13: Dass unser Geschäftsmodell greift im Sinne von je mehr Bürokratie es gibt umso eher lohnt sich unsere Agenten und da kann man wirklich zusammenfassen wie stupide eine Tätigkeit ist und die öfter sie sich wiederholt.

00:27:27: Umso eher ist die Wahrscheinlichkeit das Modell sich lohnt.

00:27:32: und wir sagen auch unseren Kunden immer lasst uns mit was einfachem anfangen etwas, wo man schneller eine Wirkung sieht wo die Investition nicht so hoch ist.

00:27:41: Und eigentlich sollte man, ich sage mal so ein Zeittorizont das muss nach einem Jahr muss es sich amortisiert haben und danach halt wirklich dem Unternehmen weiterhelfen mit der finanziellen Aspekte sind nur einer.

00:27:51: also es geht ja auch immer um das Thema Fachkräftemangel.

00:27:52: Das gehen wir zur Friedenheit in den Tätigkeiten die ich tue als jeder der sich über Bürokratie beklagt er hätte jetzt Möglichkeiten da was zu tun.

00:27:59: und dass ist nochmal die wesentliche Unterschiede sind Man kann es mittlerweile lokal Es wird günstiger Die Möglichkeiten was man tun kann werden mehr dass jetzt die eine versettet, die andere Seite ist.

00:28:11: Je mehr Unternehmen, je mehr Menschen damit arbeiten das einsetzen wie lange kann ich mir noch erlauben das nicht auch selber anzuschauen und wie lang kann ich mich noch erlaufen das nicht selber einzusetzen.

00:28:21: denn die Geschwindigkeit, die technologische Entschwindigkeit ist unglaublich brutal.

00:28:26: Und je länger ich mich in diesem Thema nicht stelle und es kann ja auch sein, man bewertet das als für einen nicht brauchbar.

00:28:33: Es ist vollkommen legitime Entscheidung aber dann ist eine bewusste Entscheidung.

00:28:37: Aber je länger Ich mich die Diskussionen oder dem Thema nicht stellen um mich damit nicht auseinandersetzen, umso schwieriger wird es irgendwann das wieder aufzuholen.

00:28:44: Das merken wir auch bei der Kompetenz der Mitarbeiter Bei den Menschen, die damit umgehen müssen.

00:28:47: Auch das muss man nach und nach lernen.

00:28:51: Deswegen haben wir auch unternahm Simon hier, der dort hilft das Wissen zu vermitteln.

00:28:54: Dass die Kompetenz in den Unternehmen kommt und technologisch wie gesagt jede Woche eigentlich was Neues.

00:29:00: und jetzt erneut das Mut machende es gibt Möglichkeiten für Unternehmer Unternehmen dort relativ einfach einzusteigen.

00:29:07: Vielleicht

00:29:08: noch ein kleiner Kommentar zu dem zu der brutalen Entwicklungsgeschwindigkeit habe vor kurz meine Studie gelesen dass Die halbwärtszeit, dass ein Sprachmodell als das beste Sprach-Modell der Welt gilt, beträgt derzeit zwei Wochen.

00:29:26: Und auch da mein Lieblings-Zitat die Zeit der, die Geschwindigkeit der Veränderungen wird nie wieder so langsam sein wie heute.

00:29:34: Das ist ja...

00:29:36: Okay also wenn man das jetzt alles noch mal zusammenfasst, eigene Infrastrukturagentensysteme neue Hardware entsteht ja fast ein neues Bild einer komplett neuen KI-Architektur.

00:29:46: Vielleicht ein letztes Fazit von euch dazu.

00:29:48: Stehen wir gerade vor einem echten Paradigmenwechsel oder ist das am Ende vielleicht einfach nur der nächste Hype?

00:29:53: Ich glaube, wir können als Deutschland uns entscheiden es zu verschlafen und weiterabregt erhängt zu werden oder wir können sagen let's do it!

00:30:00: Wir haben alle Möglichkeiten – das liegt in unserer Hand – noch können wir den auf den Zug aufspringen.

00:30:05: Das sehe ich übrigens genauso für die Fieder wie unsere Kunden.

00:30:08: Das ist der gute Teil der Nachricht.

00:30:09: man muss es nur tun.

00:30:11: Vielen Dank fürs Zuhören.

00:30:13: Wir hoffen, Björn, Simon und ich konnten euch in guten Einblicken die aktuellen Entwicklungen rund um KI-Infrastruktur und die ganzen neuen Systeme geben.

00:30:22: Wenn euch die Folge gefallen hat freuen wir uns natürlich wenn ihr beim nächsten Mal wieder dabei seid.

00:30:26: dann sprechen über ein neues Thema auch wieder mit einem neuen spannenden Gast.

00:30:30: Björne hat gestern schon jemanden akquiriert

00:30:33: oder aber ihr habt Fragen die er uns schicken wollt könnt?

00:30:35: Dann können wir gerne versuchen darauf einzugehen.

00:30:37: Ja

00:30:37: gern!

00:30:39: Bis dahin, macht's gut und bis zur nächsten Folge.

00:30:42: Tschüss!