Chief AI AI Neanderthal The AI Cookbook Free: Chief AI · AI Cookbook · AI Neanderthal →
Media › The AI Cookbook › German episode 147Folge 147
The AI CookbookDas KI Kochbuch
Listen in:
German episode 147Folge 1477 July 202619 min 26 sec

Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2)Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2)

This episode is only available in German.

Wichtige Erkenntnisse

Teil 1 war das Drama: Fable 5 nach drei Tagen abgeschaltet, dasselbe Spiel jetzt mit GPT-5.6, und wir in Europa stehen da ohne Lösung. Teil 2 ist die Antwort. Und die ist nicht „warten, bis die Amerikaner uns wieder ein Modell geben" — sondern „fahrt eure eigenen Modelle, in eurem Serverraum, auf eurem Laptop, und keiner kann sie euch wegnehmen". Action, let's go.

📍 Worum es heute geht: Open-Weight-Modelle wie Gemma 4, Qwen, DeepSeek V3/V4 und Mistral Nemo laufen heute lokal — ohne Internet, ohne dass eure Daten das Gebäude verlassen. Ein bisschen schlechter als die Frontier-Modelle, ja. Aber „ein bisschen schlechter" heißt in der KI-Welt 10-20 % schlechter — und das reicht vollkommen für das, was ihr wirklich macht. Diese Folge zeigt euch die Hardware, den Ein-Zeilen-Setup, den DSGVO-Vorteil und was ihr am Montag früh als CTO, CFO und Vorstand konkret tut.

📊 Erst mal vergleichen. Es gibt ein Paper, das zeigt, wie man die Modelle gegeneinander aufstellt: unten die Kosten, um das Modell laufen zu lassen, links die Evaluierung über mehrere Benchmarks — Mathematik, Coding, Reasoning. Da seht ihr Gemma 4, Qwen 3.7 und Co. Klar, auf der Coding-Benchmark liegt ein Qwen 2.5 bei 30 % und ein Fable 5 bei 80 %. Aber für eure Workflows — Angebote durchlesen, E-Mails schreiben, beim Coden helfen, in mehreren Sprachen arbeiten — braucht ihr kein Frontier-Modell. Das können die Offenen alle.

🛠️ Der Ein-Zeilen-Trick. Wisst ihr, wie ihr so ein Modell aufsetzt? Ihr macht Claude Code oder Codex auf und tippt: „Ich möchte Gemma 4 hier auf meinem PC ohne Internet nutzen. Mach mal." Das war der ganze Prompt. Dann läuft das Ding circa 10 Minuten, lädt sich Ollama runter, zieht das Modell, deployt es — fertig. So leicht ist es geworden, Open-Weight-Modelle zu nutzen. Datenschutz-Dinosaurier dürfen in der Garage bleiben.

🏦 Der JP-Morgan-Tresor-Vergleich. DSGVO verbietet die Übermittlung personenbezogener Daten in Drittländer ohne angemessenes Schutzniveau — das große Problem der US-Cloud-Anbieter. Wenn ihr aber Qwen 2.5 oder Gemma 4 in eurem Serverraum in Stuttgart oder Wien fahrt, verlassen die Daten nicht mal den Rechner. Kein Transfer, kein Artikel 44. Sogar Privacy by Design — Artikel 25. Stellt's euch so vor: Euer Geld bei JP Morgan in der Schweizer Filiale ist immer noch JP Morgan. Aber wenn das Geld im eigenen Tresor zu Hause liegt, ist das das Sicherste. Eure Head of Compliance und Legal Head werden sich freuen.

💻 „Aber ich bin Mittelständler, ich hab kein Rechenzentrum." Brauchst du nicht. Du gehst und kaufst dir einen Mac mit 16 GB RAM — beim Saturn um 1.500 bis 2.000 Euro. Installierst Claude Code, deployst Gemma 4, und lässt jede Person in der Firma darauf arbeiten. Das reicht vollkommen für Dokumentenextraktion, Zusammenfassungen, RAG-Queries, interne Dokumente. Du willst mehr? Workstation mit zwei RTX 4090, dann kostet das Teil 6.000 statt 2.000 Euro. Und wenn du deine API-Kosten der letzten Wochen anschaust, sind 4.000 bis 6.000 Euro: Peanuts. DeepSeek V3 ist über Apache 2.0 verfügbar — deutsche Firmen bieten euch das gehostet im Allgäu, in Zürich oder Wien an. Wieder kein Artikel-44-Problem.

🇪🇺 „Modellbehindert" — und genau das ist unser Vorteil. Die Amerikaner sehen uns als total handicapped: „Die Europäer haben ja kein gescheites Modell." Aber genau weil wir am Modell behindert sind — und vor allem wegen dem Datenschutz — hat uns das gezwungen, uns viel, viel früher mit Open-Weight-Modellen zu beschäftigen. Pharma, Finanzen, Gesundheit: ganze Architekturen, die nur auf Open Weights basieren, weil DSGVO uns dazu gezwungen hat. Uns kann es wortwörtlich wurscht sein, ob Fable 5, Mythos oder GPT 5.6 kommt oder nicht. 150 Lebensläufe vergleichen läuft sehr gut auf einem lokalen Mistral Nemo oder Qwen 2.5 auf einem 2.000-Euro-PC. Dazu kommt Model Portability — eines Tages tragt ihr das Modell auf einem USB-Stick oder fahrt es am iPhone.

📌 Take-aways

  • CTO: Start mit einem Produktions-KI-Abhängigkeits-Audit — das Wichtigste, das du gerade machen kannst. Viele deiner API-Calls zu LLMs sind ein Ausfallrisiko, egal ob Copilot, ChatGPT oder was auch immer. Überleg, welche Open-Weight-Modelle (Mistral, Gemma 4, Qwen) du nutzen könntest, bring sie in ein Staging-Environment und vergleich die Ergebnisse. Dann klassifizier deine KI-Daten-Interaktionen: Was muss zwingend lokal laufen (Finanz-, Patientendaten) und was nicht (Amazon-Bestelldaten)?
  • CFO: Versteh, dass Kosten auf dich zukommen — neue PCs oder gemietete Cloud-Infrastruktur. Aber Long Term, in den nächsten 6 bis 24 Monaten, wird es für dich billiger sein, lokale Modelle zu fahren, als immer das neueste Modell von Anthropic oder ChatGPT.
  • Vorstand: Rüttle deine Leute wach. Euer Wettbewerbsvorteil war früher die Modellwahl — den haben wir gegenüber den Amerikanern verloren. Was bleibt: eure Kundenbeziehungen, eure validierten Workflows und Maschinen, eure proprietären Daten, euer institutionelles Wissen. Das liegt in den Köpfen eurer Leute, nicht in der KI. Habt Mut.

⏱️ Timestamps

  • 00:00 — Rückblick Teil 1: Fable 5, GPT-5.6 und kein Plan B in Europa
  • 01:30 — Das Benchmark-Paper: Kosten gegen Evaluierung
  • 03:30 — Open-Weight-Modelle: Gemma 4, Qwen, DeepSeek V4 — „10-20 % schlechter reicht"
  • 06:00 — Der Ein-Zeilen-Setup über Claude Code + Ollama
  • 08:00 — Datenschutz: Artikel 44, Privacy by Design (Art. 25) und der JP-Morgan-Tresor-Vergleich
  • 11:00 — Hardware: 16-GB-Mac für 2.000 € vs. 2× RTX 4090 für 6.000 €
  • 14:00 — „Modellbehindert": warum DSGVO unser Vorteil ist + Model Portability
  • 16:30 — Monday Actions für CTO, CFO und Vorstand
  • 18:30 — Was euch bleibt + Teaser: Sakana & Fugu

🐡 Nächste Folge: Sakana & Fugu — wie selbst schlechte Modelle ganz, ganz tolle Antworten liefern, wenn man sie zusammenarbeiten lässt.

🎙️ ÜBER DEN HOST

Malcolm Werchota leitet KI-Adoptionsprogramme für Unternehmen in ganz Europa.
Nach über 15 Jahren bei Novartis und Schlumberger hilft er heute Führungsteams, KI-Hype von realem operativem Impact zu trennen.
Dozent an der ESADE und HSLU.

Um auf das vollständige Transkript zuzugreifen, treten Sie unserer Community bei!

Zur Community

Wichtige Erkenntnisse

Teil 1 war das Drama: Fable 5 nach drei Tagen abgeschaltet, dasselbe Spiel jetzt mit GPT-5.6, und wir in Europa stehen da ohne Lösung. Teil 2 ist die Antwort. Und die ist nicht „warten, bis die Amerikaner uns wieder ein Modell geben" — sondern „fahrt eure eigenen Modelle, in eurem Serverraum, auf eurem Laptop, und keiner kann sie euch wegnehmen". Action, let's go.

📍 Worum es heute geht: Open-Weight-Modelle wie Gemma 4, Qwen, DeepSeek V3/V4 und Mistral Nemo laufen heute lokal — ohne Internet, ohne dass eure Daten das Gebäude verlassen. Ein bisschen schlechter als die Frontier-Modelle, ja. Aber „ein bisschen schlechter" heißt in der KI-Welt 10-20 % schlechter — und das reicht vollkommen für das, was ihr wirklich macht. Diese Folge zeigt euch die Hardware, den Ein-Zeilen-Setup, den DSGVO-Vorteil und was ihr am Montag früh als CTO, CFO und Vorstand konkret tut.

📊 Erst mal vergleichen. Es gibt ein Paper, das zeigt, wie man die Modelle gegeneinander aufstellt: unten die Kosten, um das Modell laufen zu lassen, links die Evaluierung über mehrere Benchmarks — Mathematik, Coding, Reasoning. Da seht ihr Gemma 4, Qwen 3.7 und Co. Klar, auf der Coding-Benchmark liegt ein Qwen 2.5 bei 30 % und ein Fable 5 bei 80 %. Aber für eure Workflows — Angebote durchlesen, E-Mails schreiben, beim Coden helfen, in mehreren Sprachen arbeiten — braucht ihr kein Frontier-Modell. Das können die Offenen alle.

🛠️ Der Ein-Zeilen-Trick. Wisst ihr, wie ihr so ein Modell aufsetzt? Ihr macht Claude Code oder Codex auf und tippt: „Ich möchte Gemma 4 hier auf meinem PC ohne Internet nutzen. Mach mal." Das war der ganze Prompt. Dann läuft das Ding circa 10 Minuten, lädt sich Ollama runter, zieht das Modell, deployt es — fertig. So leicht ist es geworden, Open-Weight-Modelle zu nutzen. Datenschutz-Dinosaurier dürfen in der Garage bleiben.

🏦 Der JP-Morgan-Tresor-Vergleich. DSGVO verbietet die Übermittlung personenbezogener Daten in Drittländer ohne angemessenes Schutzniveau — das große Problem der US-Cloud-Anbieter. Wenn ihr aber Qwen 2.5 oder Gemma 4 in eurem Serverraum in Stuttgart oder Wien fahrt, verlassen die Daten nicht mal den Rechner. Kein Transfer, kein Artikel 44. Sogar Privacy by Design — Artikel 25. Stellt's euch so vor: Euer Geld bei JP Morgan in der Schweizer Filiale ist immer noch JP Morgan. Aber wenn das Geld im eigenen Tresor zu Hause liegt, ist das das Sicherste. Eure Head of Compliance und Legal Head werden sich freuen.

💻 „Aber ich bin Mittelständler, ich hab kein Rechenzentrum." Brauchst du nicht. Du gehst und kaufst dir einen Mac mit 16 GB RAM — beim Saturn um 1.500 bis 2.000 Euro. Installierst Claude Code, deployst Gemma 4, und lässt jede Person in der Firma darauf arbeiten. Das reicht vollkommen für Dokumentenextraktion, Zusammenfassungen, RAG-Queries, interne Dokumente. Du willst mehr? Workstation mit zwei RTX 4090, dann kostet das Teil 6.000 statt 2.000 Euro. Und wenn du deine API-Kosten der letzten Wochen anschaust, sind 4.000 bis 6.000 Euro: Peanuts. DeepSeek V3 ist über Apache 2.0 verfügbar — deutsche Firmen bieten euch das gehostet im Allgäu, in Zürich oder Wien an. Wieder kein Artikel-44-Problem.

🇪🇺 „Modellbehindert" — und genau das ist unser Vorteil. Die Amerikaner sehen uns als total handicapped: „Die Europäer haben ja kein gescheites Modell." Aber genau weil wir am Modell behindert sind — und vor allem wegen dem Datenschutz — hat uns das gezwungen, uns viel, viel früher mit Open-Weight-Modellen zu beschäftigen. Pharma, Finanzen, Gesundheit: ganze Architekturen, die nur auf Open Weights basieren, weil DSGVO uns dazu gezwungen hat. Uns kann es wortwörtlich wurscht sein, ob Fable 5, Mythos oder GPT 5.6 kommt oder nicht. 150 Lebensläufe vergleichen läuft sehr gut auf einem lokalen Mistral Nemo oder Qwen 2.5 auf einem 2.000-Euro-PC. Dazu kommt Model Portability — eines Tages tragt ihr das Modell auf einem USB-Stick oder fahrt es am iPhone.

📌 Take-aways

  • CTO: Start mit einem Produktions-KI-Abhängigkeits-Audit — das Wichtigste, das du gerade machen kannst. Viele deiner API-Calls zu LLMs sind ein Ausfallrisiko, egal ob Copilot, ChatGPT oder was auch immer. Überleg, welche Open-Weight-Modelle (Mistral, Gemma 4, Qwen) du nutzen könntest, bring sie in ein Staging-Environment und vergleich die Ergebnisse. Dann klassifizier deine KI-Daten-Interaktionen: Was muss zwingend lokal laufen (Finanz-, Patientendaten) und was nicht (Amazon-Bestelldaten)?
  • CFO: Versteh, dass Kosten auf dich zukommen — neue PCs oder gemietete Cloud-Infrastruktur. Aber Long Term, in den nächsten 6 bis 24 Monaten, wird es für dich billiger sein, lokale Modelle zu fahren, als immer das neueste Modell von Anthropic oder ChatGPT.
  • Vorstand: Rüttle deine Leute wach. Euer Wettbewerbsvorteil war früher die Modellwahl — den haben wir gegenüber den Amerikanern verloren. Was bleibt: eure Kundenbeziehungen, eure validierten Workflows und Maschinen, eure proprietären Daten, euer institutionelles Wissen. Das liegt in den Köpfen eurer Leute, nicht in der KI. Habt Mut.

⏱️ Timestamps

  • 00:00 — Rückblick Teil 1: Fable 5, GPT-5.6 und kein Plan B in Europa
  • 01:30 — Das Benchmark-Paper: Kosten gegen Evaluierung
  • 03:30 — Open-Weight-Modelle: Gemma 4, Qwen, DeepSeek V4 — „10-20 % schlechter reicht"
  • 06:00 — Der Ein-Zeilen-Setup über Claude Code + Ollama
  • 08:00 — Datenschutz: Artikel 44, Privacy by Design (Art. 25) und der JP-Morgan-Tresor-Vergleich
  • 11:00 — Hardware: 16-GB-Mac für 2.000 € vs. 2× RTX 4090 für 6.000 €
  • 14:00 — „Modellbehindert": warum DSGVO unser Vorteil ist + Model Portability
  • 16:30 — Monday Actions für CTO, CFO und Vorstand
  • 18:30 — Was euch bleibt + Teaser: Sakana & Fugu

🐡 Nächste Folge: Sakana & Fugu — wie selbst schlechte Modelle ganz, ganz tolle Antworten liefern, wenn man sie zusammenarbeiten lässt.

🎙️ ÜBER DEN HOST

Malcolm Werchota leitet KI-Adoptionsprogramme für Unternehmen in ganz Europa.
Nach über 15 Jahren bei Novartis und Schlumberger hilft er heute Führungsteams, KI-Hype von realem operativem Impact zu trennen.
Dozent an der ESADE und HSLU.

Um auf das vollständige Transkript zuzugreifen, treten Sie unserer Community bei!

Zur Community

More episodes

#146DE

Die besten KI-Modelle der Welt — und ihr dürft sie nicht haben (Teil 1)Die besten KI-Modelle der Welt — und ihr dürft sie nicht haben (Teil 1)

Stell dir vor, du kaufst das beste Werkzeug der Welt, du hast es drei Tage in der Hand, es funktioniert, es ist genial — und dann kommt ein Brief. Nicht vom Baumarkt. Von einer Regierung, die du nicht mal gewählt hast. Und der Brief sagt: Du darfst es ab jetzt nicht mehr nutzen. Du nicht, und der Rest der Welt auch nicht. Genau…Stell dir vor, du kaufst das beste Werkzeug der Welt, du hast es drei Tage in der Hand, es funktioniert, es ist genial — und dann kommt ein Brief. Nicht vom Baumarkt. Von einer Regierung, die du nicht mal gewählt hast. Und der Brief sagt: Du darfst es ab jetzt nicht mehr nutzen. Du nicht, und der Rest der Welt auch nicht. Genau…

3 July 202630 min
#145DE

Wir haben unserem Vertrieb einen Kopf gebaut: Das Commercial Brain (Teil 2)Wir haben unserem Vertrieb einen Kopf gebaut: Das Commercial Brain (Teil 2)

Teil 1 war euch feedbacktechnisch ein bisschen zu theoretisch — fair. Heute wird's praktisch. Stellt euch euren Vertriebler vor: 40, 50, 60 Calls in zwei Wochen, jedem Kunden ein anderes Versprechen gegeben, nirgendwo sauber aufgeschrieben. Genau da stirbt euer Deal. „Halb erinnern oder halb aufschreiben bringt nicht mehr…Teil 1 war euch feedbacktechnisch ein bisschen zu theoretisch — fair. Heute wird's praktisch. Stellt euch euren Vertriebler vor: 40, 50, 60 Calls in zwei Wochen, jedem Kunden ein anderes Versprechen gegeben, nirgendwo sauber aufgeschrieben. Genau da stirbt euer Deal. „Halb erinnern oder halb aufschreiben bringt nicht mehr…

1 July 202621 min
#144DE

Ihr nutzt KI fürs Falsche: Warum nur 2% damit mehr verkaufen (Commercial Playbook, Teil 1)Ihr nutzt KI fürs Falsche: Warum nur 2% damit mehr verkaufen (Commercial Playbook, Teil 1)

Ich war ein paar Wochen unterwegs — Keynotes bei einer Bank, vor einer Gruppe Galabauern, bei einer Private-Equity-Firma. Und alle sind in dieselbe Richtung gegangen: Ihr nutzt KI fürs Falsche. Eure ganzen KI-Projekte stecken in Content, Marketing-Texten, Social-Media-Posts — also genau dort, wo ihr nie zeigen könnt, dass ihr…Ich war ein paar Wochen unterwegs — Keynotes bei einer Bank, vor einer Gruppe Galabauern, bei einer Private-Equity-Firma. Und alle sind in dieselbe Richtung gegangen: Ihr nutzt KI fürs Falsche. Eure ganzen KI-Projekte stecken in Content, Marketing-Texten, Social-Media-Posts — also genau dort, wo ihr nie zeigen könnt, dass ihr…

29 June 202634 min

All 156 episodes →

Join Chief AI (free)