Chief AI AI Neanderthal The AI Cookbook Free: Chief AI · AI Cookbook · AI Neanderthal →
Media › The AI Cookbook › Episode 123Folge 136
The AI CookbookDas KI Kochbuch
Listen in:
Episode 123Folge 13625 May 202630 min 2 sec

Prompt Engineering 2.0 — Why 90% of Your AI Bill Is GarbagePrompt Engineering 2.0 — Warum 90% eurer KI-Rechnung Müll ist

Key Insights

Remember your first roaming bill shock? Two weeks in Dubai, you come home, and suddenly you're staring at a 1,000-euro phone bill instead of the usual 30. Same phone. Same behavior. Completely different billing model.

That's exactly what's happening to every company in the world right now. Your CTOs are sitting at the kitchen table thinking: "We pay 30 dollars a month for Copilot licenses." And then someone quietly opens the API invoice. It's not 30 dollars. It's 1,500. Per employee. Per month.

Andrej Karpathy — OpenAI co-founder, ex-Tesla AI chief — just put it bluntly in a recent post:

Imagine you're building a house for 100,000 dollars. The contractor says: "Malcolm, that'll be 1 million." — "Why 10× more?" — "Well, the context..."

That's what your company is doing with every single AI query.

📚 How we got here

  • 2022-2023: Prompt Engineering. Salaries 200,000-500,000 dollars. "Please and thank you," "think step by step," Chain of Thought. Some of it still works today.
  • 2024: The "Prompt Engineer" job title disappears. Karpathy introduces Context Engineering — the delicate art of giving the AI the right information in the right context window.
  • 2026: We now need Prompt Engineering 2.0 — not for better answers, but for answers that are 10× cheaper.

🔧 Eight measurable token levers nobody in mid-market uses

  • Chunking — split large documents into semantic chunks instead of burning 100 PDFs in one query
  • Grab-before-Fetch — tell the AI exactly which book to pull from the library instead of letting it read 100
  • Prompt Caching — with stable prefix instructions, you pay only 10% (Anthropic). First cache write costs 90%, every reuse 10%. On a 17-page compliance brief = massive lever.
  • Skill.MD / Agent.MD — work instructions for the AI. Karpathy did the math: without Skill.MD = 4 dollars per session. With Skill.MD = 30 cents. Factor 13.
  • Compaction — manually compact long sessions yourself, don't wait for the AI to do it. Works in Claude Code, Codex, etc.
  • Model Routing — Haiku $5/1M tokens (classification, formatting), Sonnet $15 (code review), Opus $25+ (architecture). Don't drive the Bugatti to the grocery store.
  • Change your default model — your devs have the most expensive model set as default. Sonnet is enough in 85% of cases.
  • Auto-Context-Loading + Prompt-Audits by a second AI = automatic context-bloat killer

🚦 The electricity-bill analogy for your board

Private life: 20-dollar lightbulb. If you leave it on 24 hours, it doesn't matter. Electric bill 800 or 850 — who cares.

Now scale it up: factory floor. 50,000 lights. Three-shift operation. Plus machines, server room. Suddenly 5 million dollars in electricity. That's your AI bill in 2026. You spent two years buying AI without installing the meter.

If I walk in as a consultant and say "1-million-dollar project to optimize your prompts" — and you go from 5 million to 500,000? That's factor 10. From 4 million in savings, I'd happily take 1 million.

📟 Cloud-Meter — the physical electricity meter for your AI

Someone built a small cube with a touchscreen that displays in real time how much money he's burning on tokens. Sits on the desk next to the laptop. GitHub repo, viral on TikTok. A human built a literal power meter for AI because he can't grasp how much he's spending in the abstract.

🎯 Three Monday actions

  • 1. Subscription Audit: Claude Code + Codex + Cursor + Lovable Pro + ChatGPT Plus + Gemini all running in parallel? Have an AI list every duplicate spend. At werchota.ai we save thousands monthly by subscribing fast and canceling fast.
  • 2. Build Skill.MDs: The moment you do a process twice, write a Skill.MD. We have a GitHub Skill Repository at werchota — every skill = better quality + 13× fewer tokens.
  • 3. Change the default model: Open Claude / Codex / Cursor, switch the default model to Sonnet (or smaller). You'll hit "max out" less often — and you can work much longer per session.

💬 The question every board needs to answer

"How much does one token cost us?"

Your CFO knows the electricity bill. Knows the gold price. Knows the price of gasoline. Knows the price of milk at the supermarket. They don't know the token price. And they don't yet know they should know it.

That's the new language we have to learn. AI-language. First mover wins.

⏱️ Timestamps

  • 00:00 — Cold open: The 1,000-dollar Dubai roaming bill
  • 03:30 — Two worlds: private flat-rate vs. enterprise API
  • 06:00 — Karpathy: 90% of your AI bill is wasted context
  • 08:30 — Retro: Prompt Engineering 2022 → Context Engineering 2024 → Prompt Engineering 2.0
  • 13:00 — Chunking + Grab-before-Fetch
  • 16:00 — Prompt Caching: 10% instead of 100%
  • 19:00 — Skill.MD / Agent.MD — Factor 13
  • 22:00 — Compaction
  • 25:00 — Electricity bill analogy: 5M in token costs with no meter
  • 28:00 — Cloud-Meter — the physical token meter
  • 30:00 — Model Routing: Haiku / Sonnet / Opus — Skoda, Ferrari, Bugatti
  • 33:00 — Three Monday actions: Subscription Audit, Skill.MDs, Default Model
  • 37:00 — The question for every board: "How much does one token cost us?"

🎙️ ABOUT THE HOST

Malcolm Werchota runs AI adoption programs for companies across Europe.
After 15+ years at Novartis and Schlumberger, he now helps leadership teams move from AI hype to real operational impact.
Faculty at ESADE and HSLU.

For access to the full transcript, join our community!

Join the community

Wichtige Erkenntnisse

Erinnert ihr euch noch an euren ersten Telefonrechnungsschock? Zwei Wochen Dubai, zurück zu Hause, plötzlich 1.000 Euro statt 30. Dasselbe Handy, dasselbe Verhalten — aber ein komplett anderes Abrechnungsmodell.

Genau das passiert gerade in jeder Firma in DACH. Eure CTOs sitzen wie dieser Vater am Küchentisch und denken: "Wir zahlen 30 Euro im Monat für Copilot-Lizenzen." Und dann öffnet jemand still die API-Rechnung. Und sie ist nicht 30 Euro. Sie ist 1.500. Pro Mitarbeiter. Pro Monat.

Andrej Karpathy — Co-Founder OpenAI, ex-Tesla AI-Chef — bringt es in einem aktuellen Post auf den Punkt:

Stellt euch das vor: ihr lasst ein Haus für 100.000 Euro bauen. Der Bauleiter sagt: "Malcolm, das macht 1 Million." — "Warum 10× mehr?" — "Naja, der Kontext..."

Genau das macht eure Firma gerade mit jeder einzelnen KI-Abfrage.

📚 Wie wir hierher gekommen sind

  • 2022-2023: Prompt Engineering. Gehälter 200.000-500.000 Dollar. "Bitte und Danke", "denke Schritt für Schritt", Chain of Thought. Funktioniert teilweise heute noch.
  • 2024: Job-Titel "Prompt Engineer" verschwindet. Karpathy bringt Context Engineering — die delikate Kunst, der KI im richtigen Kontextfenster die richtigen Informationen zu liefern.
  • 2026: Jetzt brauchen wir Prompt Engineering 2.0 — nicht für bessere Antworten, sondern für 10× günstigere Antworten.

🔧 Acht messbare Token-Hebel, die kein Mittelständler nutzt

  • Chunking — große Dokumente in semantische Stücke teilen, statt 100 PDFs in einer Abfrage zu verbrennen
  • Grab-before-Fetch — der KI gezielt sagen, welches Buch sie aus der Bibliothek holen soll, statt sie 100 lesen zu lassen
  • Prompt Caching — bei stabilen Präfix-Anweisungen zahlt ihr nur 10% (Anthropic). Erste Cache-Speicherung kostet 90%, jeder Wiederabruf 10%. Bei einer 17-Seiten-Compliance-Anweisung = riesiger Hebel.
  • Skill.MD / Agent.MD — Arbeitsanweisungen für die KI. Karpathy hat es ausgerechnet: ohne Skill.MD = 4 Dollar pro Session. Mit Skill.MD = 30 Cent. Faktor 13.
  • Compaction — bei langen Sessions selbst kompaktieren, nicht warten bis die KI das tut. Funktioniert in Claude Code, Codex etc.
  • Model Routing — Haiku 5$/1M Tokens (Klassifikation, Formatieren), Sonnet 15$ (Code Review), Opus 25$ (Architektur). Fahrt nicht den Bugatti zum Einkaufen.
  • Default Model wechseln — eure Devs haben das teuerste Modell als Standard. Sonnet reicht in 85% der Fälle.
  • Auto-Context-Loading + Prompt-Audits durch eine zweite KI = automatischer Context-Bloat-Killer

🚦 Die Stromrechnungs-Analogie für euren Vorstand

Privat: 20-Euro-Glühbirne. Wenn ihr sie 24h anlasst, ist es egal. Stromrechnung 800 oder 850 — wurscht.

Aber jetzt: Fabrikhalle. 50.000 Lampen. Drei Schichtbetrieb. Plus Anlagen, Serverraum. Plötzlich 5 Millionen Euro Stromrechnung. Genau das ist eure KI-Rechnung 2026. Ihr habt zwei Jahre lang KI gekauft, ohne den Stromzähler einzubauen.

Wenn ich als Berater reinkomme und sage "Projekt für 1 Million Euro, um eure Prompt-Sachen zu verbessern" — und ihr aus 5 Millionen runter auf 500.000 kommt? Klar man, das ist Faktor 10.

📟 Cloud-Meter — der physische Stromzähler für eure KI

Jemand hat sich einen kleinen Würfel mit Touchscreen gebaut, der in Echtzeit zeigt, wie viel Geld er aktuell für Tokens verbrennt. Schreibtisch neben dem Laptop. GitHub-Repo, viral auf TikTok. Ein Mensch hat einen Stromzähler für KI gebaut, weil er auch überfordert ist.

🎯 Drei Montag-Aktionen

  • 1. Subscription Audit: Habt ihr Claude Code + Codex + Cursor + Lovable Pro + ChatGPT Plus + Gemini parallel? Lasst eine KI auflisten, wo Doppelausgaben sind. Bei werchota.ai sparen wir monatlich tausende, weil wir schnell abonnieren und schnell kündigen.
  • 2. Skill.MDs bauen: Sobald ihr einen Prozess 2× macht, schreibt eine Skill.MD. Bei werchota haben wir ein Skill-Repository auf GitHub. Jede Skill = bessere Qualität + 13× weniger Tokens.
  • 3. Default Model wechseln: Geht in Claude/Codex/Cursor, ändert das Default Model auf Sonnet (oder kleiner). Ihr werdet weniger "max out" bekommen — und ihr könnt viel länger arbeiten.

💬 Die Frage, die jeder Vorstand stellen können muss

"Wie viel kostet bei uns ein Token?"

Eure CFOs wissen die Stromrechnung. Sie kennen den Goldpreis. Den Benzinpreis. Den Milchpreis bei Kaufland. Den Token-Preis kennen sie nicht. Und sie wissen auch nicht, dass sie ihn kennen sollten.

Das ist die Sprache, die wir lernen müssen. KI-Sprache. Wer sie zuerst spricht, gewinnt.

⏱️ Timestamps

  • 00:00 — Cold Open: Die 1.000-Euro-Roaming-Rechnung aus Dubai
  • 03:30 — Zwei Welten: Privat-Flatrate vs. Enterprise-API
  • 06:00 — Karpathy: 90% eurer Rechnung ist Müll-Kontext
  • 08:30 — Retro: Prompt Engineering 2022 → Context Engineering 2024 → Prompt Engineering 2.0
  • 13:00 — Chunking + Grab-before-Fetch
  • 16:00 — Prompt Caching: 10% statt 100% (Anthropic-Hebel)
  • 19:00 — Skill.MD / Agent.MD — Faktor 13
  • 22:00 — Compaction
  • 25:00 — Stromrechnung-Analogie: 5 Mio. Token-Kosten ohne Zähler
  • 28:00 — Cloud-Meter — der physische Token-Zähler
  • 30:00 — Model Routing: Haiku/Sonnet/Opus — Skoda, Ferrari, Bugatti
  • 33:00 — Drei Montag-Aktionen: Subscription Audit, Skill.MDs, Default Model
  • 37:00 — Die Frage für jeden Vorstand: "Wie viel kostet ein Token?"

Malcolm Werchota leitet KI-Adoptionsprogramme für Unternehmen in ganz Europa. Nach über 15 Jahren bei Novartis und Schlumberger heute Fokus: KI ohne Bullshit. Dozent an ESADE und HSLU. Studiert in Leoben.

🎙️ ÜBER DEN HOST

Malcolm Werchota leitet KI-Adoptionsprogramme für Unternehmen in ganz Europa.
Nach über 15 Jahren bei Novartis und Schlumberger hilft er heute Führungsteams, KI-Hype von realem operativem Impact zu trennen.
Dozent an der ESADE und HSLU.

Um auf das vollständige Transkript zuzugreifen, treten Sie unserer Community bei!

Zur Community

More episodes

#122#135EP

AI Drama — Sierra, Brett Taylor, and the Biggest Conflict of Interest in AIAI Drama — Sierra, Brad Taylor und der größte Interessenskonflikt der KI-Welt

Welcome to AI Drama. A story in two cities, with one villain, a 16-billion-dollar valuation, and one of the biggest conflicts of interest in the entire AI world.Willkommen zu AI Drama. Heute kein Deep Dive — heute ein Drama in fünf Akten. Mit einem Bösewicht, einer Milliarden-Bewertung und einem der größten Interessenskonflikte der gesamten KI-Welt.

21 May 202628 min
#121#134EP

AI Doesn't Eliminate Jobs — It Eliminates ROLES. Three Roles You MUST Hire in 2026.KI eliminiert nicht Jobs — sie eliminiert ROLLEN. Drei Rollen, die ihr JETZT einstellen müsst.

A good friend of Malcolm — from the automotive industry — said it to his face: "Malcolm, your podcast is nice and all, but in our auto sector, literally nothing is moving. Nobody is firing people because of AI." Wrong. So wrong. This episode is the answer.Ein guter Freund von Malcolm — aus der Automobilbranche — sagt: "Malcolm, dein Podcast ist ja schön und gut, aber bei uns im Auto-Sektor tut sich genau gar nichts. Wir feuern doch keine Leute wegen KI." Falsch. So falsch. Diese Episode ist die Antwort.

17 May 202623 min
#120#133EP

You Cannot Roll Out AI. Period. — Why Anthropic, Goldman, and Blackstone Are About to Run Your BusinessAnthropic baut den Delivery-Arm — und warum euer Modell nie der Engpass war

Picture this. You're not hiring a consultant anymore. You're hiring the model maker itself. Plus private equity. Not for a strategy paper. For the complete redesign of your core operations.Stellt euch das vor. Ihr holt euch keinen Berater mehr ins Haus. Ihr holt euch direkt den Modellhersteller. Plus Private Equity. Nicht für ein Strategiepapier. Sondern für den kompletten Umbau eurer Kernprozesse.

14 May 202625 min

All 156 episodes →

Join Chief AI (free)