WEBVTT

00:00:00.017 --> 00:00:03.797
Die Umgebung, die die Modelle laufen lässt, ist LM-Studio.

00:00:04.117 --> 00:00:08.457
In dieser Web-Oberfläche kann jedes Familienmitglied seinen eigenen Account haben.

00:00:09.517 --> 00:00:14.977
Dann brauchst du natürlich affenartig viel RAM. Und so suchst du dir das Modell

00:00:14.977 --> 00:00:17.557
raus, was halt irgendwie zu deinem RAM passt.

00:00:18.377 --> 00:00:21.717
In dem System, was ich da baue, schaue ich immer rein, okay,

00:00:21.837 --> 00:00:24.877
was werden denn jetzt gerade eigentlich für Daten gesendet? Und sind das die richtigen?

00:00:25.097 --> 00:00:27.717
Sind da alle Daten drin, die drin sein sollen? Fehlt da was?

00:00:29.077 --> 00:00:31.437
Meine persönliche Meinung ist, es scheppert erst im nächsten Jahr.

00:00:31.677 --> 00:00:35.457
Shep meint, es scheppert schon dieses Jahr, okay, aber wer ist der Erste in der Umfeld.

00:00:59.967 --> 00:01:06.207
Hallo und herzlich willkommen zum Working Draft Revision 711. Wir sind zu dritt.

00:01:06.727 --> 00:01:10.767
Mit dabei sind der Peter. Moin Moin. Der Schepp.

00:01:11.607 --> 00:01:14.687
Hello. Und ich selbst bin's, der Hans.

00:01:14.847 --> 00:01:19.587
Hallo. wir haben uns zusammengefunden und haben uns gedacht wir sprechen mal

00:01:19.587 --> 00:01:25.207
über ein thema was dich in letzter zeit beschäftigt hat du hast dich nämlich

00:01:25.207 --> 00:01:34.627
damit befasst bei dir zu hause lm selbstständig zu betreiben wie bist du auf die idee gekommen.

00:01:36.867 --> 00:01:42.347
Ja das erzähle ich dann gleich genau wir sind dann nämlich einfach so in die

00:01:42.347 --> 00:01:43.427
Diskussion reingeraten.

00:01:44.978 --> 00:01:50.938
Und nehmen dieses Intro sozusagen nachträglich auf. Deswegen steigen wir da gleich mittendrin ein.

00:01:51.518 --> 00:01:54.618
Denn eigentlich hatten wir uns zusammengefunden, um darüber nachzudenken,

00:01:54.718 --> 00:01:58.398
worüber wir sprechen könnten. Und dann haben wir auf einmal über Dinge gesprochen.

00:01:59.218 --> 00:02:00.698
Also, hört es euch an.

00:02:01.538 --> 00:02:05.538
Es ist definitiv spannend. Und vergesst nicht, bis zum Ende zu hören,

00:02:05.618 --> 00:02:09.198
weil da entsteht noch eine ganz interessante philosophische Diskussion.

00:02:11.138 --> 00:02:14.698
Am Wochenende war ich bei einem Barcamp. und da habe ich eine spontane Session

00:02:14.698 --> 00:02:16.878
gemacht. Ich habe jetzt in meinem Heim-LLM laufen.

00:02:17.218 --> 00:02:24.478
Cool. Ich habe nämlich so einen gebrauchten Mac Studio mit M1 Max geholt, mit 32 GB RAM.

00:02:25.198 --> 00:02:30.338
Der läuft jetzt bei mir schön hier in der Rumpelkammer mit Gamma 4 von Google.

00:02:30.898 --> 00:02:38.558
Nicht schlecht. Und hier Flux 2 als Bildgenerator und so eine quasi Web-UI, die man nutzen kann.

00:02:38.758 --> 00:02:42.438
Und das ist dann günstiger, als wenn du das über...

00:02:43.778 --> 00:02:48.758
Also günstiger ist es nicht. Nee, günstiger ist es nicht. Es ist ja auch nicht besser.

00:02:49.038 --> 00:02:52.598
Also es ist so, weiß ich nicht, ChatGPT 3.5, 4.0 mäßig.

00:02:53.278 --> 00:02:58.838
Aber es ist halt einfach, ich wollte das einfach bauen, quasi aus,

00:02:59.398 --> 00:03:03.378
einfach damit ich, dass man eben bestimmte Daten nicht rausleiten muss.

00:03:03.818 --> 00:03:07.278
Und weil ich ja immer noch die These vertrete, dass irgendwann dieses Jahr,

00:03:07.738 --> 00:03:12.518
also es ist ja so ein Schneeballsystem letztendlich, Also NVIDIA investiert

00:03:12.518 --> 00:03:15.218
in OpenAI, die dann dafür NVIDIA-Hardware kaufen und so weiter.

00:03:15.518 --> 00:03:21.238
Und es wird ja immer mehr Geld reingepumpt. Aber momentan wird es nicht erwirtschaftet.

00:03:21.478 --> 00:03:23.318
Also es ist ja alles ein Wett auf die Zukunft.

00:03:24.218 --> 00:03:28.658
Und im Grunde machen die ja miese mit jeder Abfrage, die du da drauf machst,

00:03:28.758 --> 00:03:31.718
aktuell. Und das finde ich gerade ein super spannendes Thema.

00:03:32.998 --> 00:03:38.418
Genau. Und ich meine, OpenAI hat ja Sora abgeschaltet, auch um ihre Ressourcen besser zu nutzen.

00:03:39.598 --> 00:03:45.078
Entropic hat hier Cloud nee, Cloud Code nee, wie heißt der? Claw Bot abgeklemmt.

00:03:46.527 --> 00:03:50.907
Weil deren Mischkalkulation dadurch auch im Arsch gegangen ist,

00:03:50.987 --> 00:03:54.627
weil natürlich der Claw-Bot die ganze Zeit nur Anfragen da reinballert.

00:03:56.267 --> 00:04:00.247
Ich bin der Ansicht, dass irgendwann dieses Jahr werden halt die Leute,

00:04:00.247 --> 00:04:04.327
die Geld geben, das Geld fragen, nach dem Geld fragen.

00:04:04.627 --> 00:04:09.187
Und dann werden ein paar umfallen und dann kaufen die Großen,

00:04:09.267 --> 00:04:10.127
die Kleinen, die umfallen.

00:04:10.707 --> 00:04:13.707
Und irgendwann steigen die Preise. Und dann ist es halt eben,

00:04:13.827 --> 00:04:17.947
dann ist Kostasabo eben, also kann es nicht mehr 20 Dollar im Monat kosten.

00:04:18.207 --> 00:04:20.287
Also zumindest nicht bei dem Leistungsumfang.

00:04:20.607 --> 00:04:23.927
Also ich merke das bei mir jetzt auch schon, dass es anzieht.

00:04:24.027 --> 00:04:28.127
Ich hatte das Gefühl jetzt gerade vor zwei Monaten oder so zum ersten Mal,

00:04:28.207 --> 00:04:33.707
dass ich dachte, irgendwie fühlen sich die Limits jetzt bei hier um,

00:04:34.824 --> 00:04:39.084
Cursor-AI irgendwie niedriger an. Und ich muss mal nachschließen.

00:04:39.304 --> 00:04:41.684
Ach komm, machst du mal On-Demand-Usage?

00:04:43.244 --> 00:04:47.644
Das kann aber auch gefährlich werden. Ja gut, du setzt halt eine Grenze.

00:04:47.844 --> 00:04:51.064
Ich habe da halt gesagt, ja 20 Dollar und dann kannst du verbrennen.

00:04:51.424 --> 00:04:54.544
Aber ich habe so schnell verbrannt. Also das war krass.

00:04:55.084 --> 00:05:04.944
Und dann habe ich Manus-AI genutzt. Das ist ja so ein sehr agentik daherkommendes Tool von Meta,

00:05:05.384 --> 00:05:11.224
mit dem du sehr, sehr gut viele Agenten anbinden kannst und der kann die super orchestrieren.

00:05:11.844 --> 00:05:20.604
Und auch da bin ich durch diese 20-Dollar-Subscription unter 24 Stunden und

00:05:20.604 --> 00:05:24.504
dann habe ich nochmal 20 nachgekauft und dann waren es innerhalb von vier Stunden.

00:05:25.164 --> 00:05:29.544
Und ich habe das Gefühl, dass die Preise jetzt schon deutlich anziehen.

00:05:29.744 --> 00:05:35.624
Auch wenn ich mir andere Sachen angucke, Flora AI, so ein Video-Generierungstool,

00:05:35.784 --> 00:05:37.104
habe ich ja auch gekauft.

00:05:37.224 --> 00:05:40.984
Es geht auch ratzfatz, wie du deine Credits auf einmal aufbrauchst,

00:05:41.064 --> 00:05:44.004
weil halt jeder jetzt nach Credits abrechnet.

00:05:44.384 --> 00:05:49.584
Was ich aber krass finde, auf der anderen Seite, ich fiere mit meinem AI-Coaching-Tool,

00:05:50.204 --> 00:05:55.404
Da ist halt auch OpenAI im Hintergrund die API angebunden.

00:05:56.004 --> 00:05:59.064
Und da brauche ich sehr lange, bis ich dann mal durch die ganzen,

00:06:00.124 --> 00:06:04.624
also die Tokens, die ich da in den System Prompts mitschicke,

00:06:04.704 --> 00:06:07.144
die sind auch, ist recht viel.

00:06:08.244 --> 00:06:12.924
Aber bis ich da einmal durch bin mit den 10 Dollar, die ich da mal aufgeladen

00:06:12.924 --> 00:06:13.904
habe, das dauert im Moment.

00:06:14.144 --> 00:06:19.384
Das finde ich so spannend, wie unterschiedlich die Tools dann auch ihr Pricing gestalten. oder.

00:06:20.753 --> 00:06:24.533
Ja, wahrscheinlich auch so, wie sie einfach mit ihrem Kontext umgehen.

00:06:25.093 --> 00:06:27.533
Der Verbrauch ist ja, glaube ich, auch wenn ich das richtig verstehe,

00:06:27.613 --> 00:06:31.453
bei diesen Agenten dergestalt, dass die ja sehr viel, sagen wir mal,

00:06:31.533 --> 00:06:36.393
rotieren um ein einmal gestelltes Problem und auf sowas wirklich sehr lange herumbasteln.

00:06:36.633 --> 00:06:41.593
Also dieses One-Shotten passiert ja sozusagen nur aus Benutzerperspektive.

00:06:41.713 --> 00:06:45.593
De facto wird da ja sehr viel intern iteriert und das verbraucht halt.

00:06:47.393 --> 00:06:51.093
Also du meinst das Reasoning an sich, also das heißt Modelle,

00:06:51.213 --> 00:06:55.953
die verwendet werden, die halt einfach Reasoning-Modelle sind und wo dann lange

00:06:55.953 --> 00:06:59.353
auf dem Problem rumgedacht wird in Anführungsstrichen und das verbraucht halt

00:06:59.353 --> 00:07:03.453
die Anzahl der Tokens und das braucht man aber ja gerade beim Coding beispielsweise,

00:07:03.873 --> 00:07:08.593
aber halt vielleicht bei einer easy Anfrage mit, hey, wie wird denn das Wetter

00:07:08.593 --> 00:07:12.893
eigentlich morgen und kann ich da mit kurzem T-Shirt raus oder nicht, so ungefähr.

00:07:12.893 --> 00:07:19.033
Das ist ja wirklich einmal sozusagen in das Gegenbild der Datenbank reingegriffen

00:07:19.033 --> 00:07:23.253
und aufbereitet, versus halt eben wirklich, mach den Plan, hack darauf rum,

00:07:23.873 --> 00:07:26.393
prüf das, es kompiliert nicht, probier es nochmal.

00:07:27.453 --> 00:07:29.973
Wenn du dann halt irgendwie so deine Codepace da im Kontext hast,

00:07:30.153 --> 00:07:32.493
dann wird das halt ziemlich viel, ziemlich schnell.

00:07:35.188 --> 00:07:40.348
So erkläre ich dir das. Wenn du jetzt aber dir gesagt hast, okay,

00:07:40.488 --> 00:07:44.368
ich betreibe das Modell mal, hier Gamma 4 hast du gesagt,

00:07:46.128 --> 00:07:50.488
selbstständig auf meinem Computer, den ich mir da irgendwie in die Ecke stelle,

00:07:51.048 --> 00:07:55.828
wie ist denn das mit aktuelleren Modellen und größeren Daten,

00:07:56.848 --> 00:07:59.748
wie nennen die sich nochmal, Tokens oder das?

00:07:59.968 --> 00:08:03.728
Meinst du Parametern? Parametern, danke. Oder meinst du die Kontextfenster? Ja. Ja.

00:08:04.868 --> 00:08:09.548
Die Umgebung, die die Modelle laufen lässt, ist LM Studio.

00:08:10.668 --> 00:08:14.468
Da steckt ja Lama CPP eigentlich dahinter.

00:08:14.728 --> 00:08:19.408
Das ist im Grunde so ein GUI dafür und du kannst ja jederzeit neue Modelle von

00:08:19.408 --> 00:08:21.228
Hugging Face oder so draufziehen.

00:08:22.428 --> 00:08:26.508
Und da gibt es eigentlich alles verfügbar, was aktuell ist oder wie?

00:08:26.508 --> 00:08:28.308
Genau, also diese Open-Weights-Modelle.

00:08:28.468 --> 00:08:35.448
Also es gibt ja auch dieses von OpenAI, dieses ChatGPT OSS 120 Billion oder so, gibt es da auch.

00:08:36.008 --> 00:08:42.008
Aber du kriegst halt nicht das Codex oder die Anthropic-Modelle oder auch nicht Gemini.

00:08:42.788 --> 00:08:48.068
Also Gemma ist quasi, ist ja auch von Google. Ich denke, dass die sich auch viel teilen.

00:08:49.048 --> 00:08:52.588
Aber diese Frontier-Modelle, wie die die nennen, die laufen natürlich,

00:08:52.828 --> 00:08:54.468
also die geben die natürlich nicht her.

00:08:54.908 --> 00:08:58.668
Und die Hardware, die du dafür brauchst, ist halt, glaube ich, auch eine ganz andere.

00:08:58.868 --> 00:09:02.608
Also, weil die halt einfach so viele Parameter haben. Also, du kannst immer

00:09:02.608 --> 00:09:05.248
sagen, du brauchst 60 Prozent.

00:09:05.628 --> 00:09:10.488
Also, wenn die zum Beispiel eine Milliarde Parameter haben, bräuchtest du 600

00:09:10.488 --> 00:09:14.408
Megabyte Speicher, um das Modell im Speicher zu halten. Ja.

00:09:15.028 --> 00:09:21.328
Genau, und bei einem 120 Milliarden Parameter Modell oder es gibt auch noch

00:09:21.328 --> 00:09:26.928
größere mit 200 oder so, dann brauchst du natürlich affenartig viel RAM.

00:09:27.668 --> 00:09:29.948
Genau, und so musst du halt quasi, suchst du dir das Modell raus,

00:09:30.088 --> 00:09:32.268
was halt irgendwie zu deinem RAM passt.

00:09:32.508 --> 00:09:36.868
Okay. Du musst aber dann noch Rahmen für dein Kontextfenster,

00:09:37.028 --> 00:09:42.108
für die quasi wie viele Tokens, Kontextfenster willst du in der Lage sein,

00:09:42.208 --> 00:09:43.328
sozusagen in der Luft zu halten.

00:09:44.188 --> 00:09:47.168
Das ist ja dann limitiert durch die Modelle einerseits. Es gibt dann,

00:09:47.268 --> 00:09:50.328
weiß nicht, die Jammer-Modelle, die können dann, sagen wir mal,

00:09:50.408 --> 00:09:55.048
nur 256.000 Tokens im Kontextfenster halten.

00:09:56.248 --> 00:10:01.308
Aber genau, das kannst du dann auch justieren, wie viel Kontextfenster du zulassen willst.

00:10:01.768 --> 00:10:07.648
Und das verbraucht, aber dann auch noch mal so 1000 Tokens, aber auch noch mal

00:10:07.648 --> 00:10:10.608
so um die 500 MB RAM. Ach krass, okay.

00:10:11.448 --> 00:10:13.568
Und 1000 Tokens ist ja nicht viel.

00:10:14.468 --> 00:10:17.988
Genau, und dann bist du bei 16K, bist halt schon bei 8 GB RAM.

00:10:19.584 --> 00:10:24.284
Und so weiter und so fort. Okay, aber das ist ja krass. Also ich schicke ja

00:10:24.284 --> 00:10:27.224
allein bei meinem System-Command ungefähr so viel mit.

00:10:28.324 --> 00:10:30.644
Genau, aber du könntest ja zum Beispiel, dann könntest du sagen,

00:10:30.944 --> 00:10:35.564
ich hole mir ein 64 Gigabyte Mac Mini oder Mac Studio oder so.

00:10:35.604 --> 00:10:38.284
Ich habe meinen ja gebraucht gekauft für ein Tausi.

00:10:39.144 --> 00:10:43.784
Genau. Und dann brauchst du halt nur entsprechend viel RAM, wenn du das haben möchtest.

00:10:44.604 --> 00:10:48.544
Gut, und dann musst du halt das Betriebssystem noch mit einberechnen und so weiter.

00:10:48.684 --> 00:10:52.864
Und wenn du dann parallele Requests hast, funktioniert das ja gar nicht mehr.

00:10:54.184 --> 00:11:00.084
Genau, wenn du parallele Requests hast, dann brauchst du natürlich noch mehr Context-Window-RAM.

00:11:00.504 --> 00:11:04.884
Aber wenn du halt mehrere Agenten hast, die parallel laufen zum Beispiel.

00:11:06.144 --> 00:11:10.444
Genau, aber es liegt dann, das kannst du im Grunde einstellen.

00:11:10.544 --> 00:11:13.484
Es gibt OpenWaves-Modelle, die auch quasi fürs Programmieren gedacht sind.

00:11:13.664 --> 00:11:18.324
So zum Beispiel hier Gwen, die kommen ja von Alibaba. Da gibt es so Instruct-Modelle, die das können.

00:11:18.944 --> 00:11:22.484
Dann gibt es welche, die multimodal sind. Also Jammer ist zum Beispiel so,

00:11:22.544 --> 00:11:25.844
du kannst dir ein Bild reinwerfen in eine Datei und der kann die dann lesen.

00:11:26.384 --> 00:11:27.484
Andere können das halt nicht.

00:11:28.224 --> 00:11:30.784
Genau, dafür können die halt keine Bildgenerierung, das können die nicht.

00:11:30.904 --> 00:11:34.664
Das habe ich halt dann über ein weiteres, also da gibt es quasi so,

00:11:34.884 --> 00:11:40.724
für Bildgenerierung gibt es, nennt sich das denn, so ähnlich wie Good UI,

00:11:41.024 --> 00:11:42.424
nur dass es nicht Good UI heißt.

00:11:42.964 --> 00:11:47.964
Genau, aber und da kannst du halt so Bildgenerierungsmodelle drin laufen lassen

00:11:47.964 --> 00:11:51.484
und dann kannst du quasi dem einen sagen, so immer wenn es um Bilder geht,

00:11:51.624 --> 00:11:55.184
dann hier fragt das andere und dann macht dir das.

00:11:57.704 --> 00:12:03.084
Und jetzt verwendest du das für deine tägliche Arbeit oder einfach wirklich,

00:12:03.204 --> 00:12:07.644
du wolltest mal testen, wie läuft das eigentlich und in der Theorie weißt du jetzt, wie es geht?

00:12:08.889 --> 00:12:13.409
Also genau, ich wollte es testen und habe aber auch so relativ lang gebraucht,

00:12:13.469 --> 00:12:15.749
bis ich alles hatte. Zum Beispiel auch Websuche willst du ja auch haben.

00:12:15.909 --> 00:12:19.929
Du willst ja irgendwie nicht, dass der Wissensstand da endet,

00:12:20.009 --> 00:12:25.389
wo das Training aufgehörte, dass bei den Jammer-Modellen Ende 25 ist.

00:12:25.949 --> 00:12:29.609
Du willst ja auch irgendwie so, was sind so die, oder wie du halt gerade meintest,

00:12:29.689 --> 00:12:30.569
wie ist das Wetter heute.

00:12:31.449 --> 00:12:35.429
Dafür muss halt eine Suche anbinden und das war, hat so eine Weile gedauert,

00:12:35.509 --> 00:12:38.889
bis ich irgendwie alles zusammengestöpselt bekommen habe, genau.

00:12:39.129 --> 00:12:42.669
Und dann kannst du auch bei Modellen noch gucken, also du, die kommen alle in

00:12:42.669 --> 00:12:45.389
16-Bit, aber dann gibt es dieses Konzept dieser Quantisierung,

00:12:46.149 --> 00:12:55.129
wo du quasi, weil die meisten Parameter liegen auf so einer Kurve konzentriert, um quasi in der Mitte.

00:12:55.129 --> 00:12:59.069
Und dann sagen die, wir brauchen gar nicht 16-Bit-Auflösung,

00:12:59.169 --> 00:13:01.089
um diese ganzen Parameter abbilden zu können.

00:13:01.749 --> 00:13:06.709
Lass uns die Auflösung quasi in die Mitte, die nur quasi die hohe Auflösung

00:13:06.709 --> 00:13:09.969
haben und am Rand wird es dann halt ungenau.

00:13:10.529 --> 00:13:13.489
Und das ist aber nicht so schlimm, weil sehr wenige Parameter da nur noch drin

00:13:13.489 --> 00:13:17.409
liegen und du hast ein viel, viel kleineres Modell, eben dann teilweise nur

00:13:17.409 --> 00:13:22.329
ein Viertel so groß, wenn du auf 4-Bit quantisierst. Ach, auf vier sogar. Okay, krass. Genau.

00:13:23.109 --> 00:13:26.529
Also bis auf vier kannst du runtergehen, danach zerbröselst du.

00:13:28.169 --> 00:13:33.489
Und du dann verbrauchst weniger Speicher. Und das ist dann wahrscheinlich so das Konzept.

00:13:33.609 --> 00:13:38.589
Also es gibt ja auch bei GPT beispielsweise die Mini-Modelle oder Nano-Modelle.

00:13:39.349 --> 00:13:41.049
Ist das dann da auch so gemacht?

00:13:42.927 --> 00:13:47.327
Also teilweise ja und teilweise sind das so destillierte Modelle.

00:13:47.547 --> 00:13:51.967
Also wir nehmen quasi, die trainieren erstmal das große Modell und dann können

00:13:51.967 --> 00:13:54.227
die daraus quasi die kleinen Modelle destillieren.

00:13:55.987 --> 00:13:58.067
Genauer kann ich es dir nicht erklären, wie das funktioniert,

00:13:58.167 --> 00:14:01.527
aber das ist halt dieser Distillvorgang, den die dann da machen.

00:14:03.247 --> 00:14:07.607
Das ist doch auch das, wo die Großen sagen, das ist das, was der Chines mit

00:14:07.607 --> 00:14:10.547
unseren Daten gemacht hat, um seine Modelle hochzuzüchten, oder?

00:14:10.747 --> 00:14:12.447
Dieses Destillieren. Ja, genau, ja.

00:14:15.920 --> 00:14:19.480
Ich wollte nochmal eben auf den Punkt zurück, den du, den ich vorhin hinmeinte,

00:14:19.620 --> 00:14:23.500
also du, genau, du weißt jetzt, wie es geht und wie man das optimieren kann

00:14:23.500 --> 00:14:30.480
und so und hast halt jetzt praktisch dir dein, dein eigenes modernes Interface irgendwie gebaut.

00:14:30.680 --> 00:14:35.040
Ja, Modelle sind jetzt vielleicht nicht die top aktuellen, aber wenn du jetzt

00:14:35.040 --> 00:14:37.260
irgendwie eine Anfrage hast, bitte?

00:14:38.220 --> 00:14:41.180
Das sind schon nicht schlecht. Also das Einzige, wo ich halt dann doch immer

00:14:41.180 --> 00:14:44.880
wieder bei ChatGPT lande, das ist so mein Go-To-Ding gerade,

00:14:45.280 --> 00:14:48.920
ist halt, weil der den ganzen Kontext meiner vorherigen Unterhaltung hat.

00:14:49.080 --> 00:14:54.220
Also das ist halt dann manchmal hilfreich, dass ich da nicht dem wieder alles

00:14:54.220 --> 00:14:58.840
von vorne sagen muss. Aber so, ich habe jetzt in dieser Oberfläche,

00:14:58.940 --> 00:15:03.160
dieser Web-Oberfläche, kann jedes Familienmitglied seinen eigenen Account haben.

00:15:03.880 --> 00:15:07.780
Und Martina zum Beispiel darf nicht auf ChatGPT zugreifen von ihrem Arbeitsrechner

00:15:07.780 --> 00:15:10.400
aus, aber wenn die bei uns zu Hause arbeitet, kann die jetzt das Ding benutzen.

00:15:11.560 --> 00:15:17.440
Okay, ach krass. Die Idee ist halt so, irgendwie mal so langsam rüber zu machen, so ein bisschen.

00:15:19.140 --> 00:15:22.700
Okay, aber das heißt, für deine tägliche Arbeit verwendest du es dann schon?

00:15:22.860 --> 00:15:27.520
Also wenn du jetzt eigentlich eine Diskussion hättest, die jetzt nicht auf irgendeinem

00:15:27.520 --> 00:15:32.140
Kontext beruht, den du jetzt schon seit ein paar Jahren bei JGPD mit eingebaut

00:15:32.140 --> 00:15:34.360
hast, dann würdest du darauf zurückgreifen?

00:15:34.660 --> 00:15:36.600
Ja, genau. Spannend.

00:15:37.380 --> 00:15:41.880
Ja, also und wie ist dann so die Abfragegeschwindigkeit? Weil das ist ja auch immer so ein Thema.

00:15:42.080 --> 00:15:46.560
Also ich denke mir, vielleicht noch ganz kurz zum Kontext, also ich denke mir

00:15:46.560 --> 00:15:50.620
manchmal so, ich haue jetzt meine Frage hier rein und ich mache mal was anderes

00:15:50.620 --> 00:15:51.740
und dann komme ich gleich wieder.

00:15:51.900 --> 00:15:57.580
Also bei diesen Reasoning-Modellen ganz normal, aber auch manchmal bei trivialen

00:15:57.580 --> 00:16:01.280
Anfragen und bis er das dann geschrieben hat, ich will das gar nicht alles lesen,

00:16:01.360 --> 00:16:02.620
ich will eh nur überfliegen.

00:16:04.180 --> 00:16:07.500
Irgendwie verhält sich das jetzt da bei so einem selbstbetriebenen Modell,

00:16:08.638 --> 00:16:14.218
Also das ist relativ schnell, was halt daran liegt, dass das eben zum einen

00:16:14.218 --> 00:16:18.538
quantisiert ist, also dann ist sowohl, also es gibt immer die zwei Stages,

00:16:18.738 --> 00:16:20.738
das eine ist quasi Prompt Processing,

00:16:21.078 --> 00:16:26.318
also das, was du reinwirfst, dass er das eben verarbeitet, das ist CPU,

00:16:26.458 --> 00:16:28.538
GPU intensiv und lässt sich parallelisieren.

00:16:29.438 --> 00:16:34.558
Und dann gibt es halt danach das Decoding, also quasi, dass er dann,

00:16:34.738 --> 00:16:39.698
dass er die Antwort erzeugt, die Token Generation und das ist limitiert durch

00:16:39.698 --> 00:16:42.058
die, deine Speicherbandbreite, die du hast.

00:16:42.298 --> 00:16:44.398
Da ist CPU, GPU völlig Latte.

00:16:45.318 --> 00:16:50.518
Da ist halt einfach die Frage, wie schnell kann er die Daten aus deinem Memory

00:16:50.518 --> 00:16:52.398
ziehen, wo halt das Modell drin liegt.

00:16:53.178 --> 00:16:57.858
Und da liegt jetzt das Ding so bei 50 Tokens pro Sekunde, also es ist eigentlich relativ schnell.

00:16:59.023 --> 00:17:04.063
Ja, ist eine Schreibgeschwindigkeit, in der man jetzt viel schneller lesen kann,

00:17:04.143 --> 00:17:05.063
du kannst wahrscheinlich auch nicht, ne?

00:17:06.063 --> 00:17:09.383
Nee, genau. Also schneller geht natürlich immer, aber es ist schon ziemlich

00:17:09.383 --> 00:17:14.863
schnell, also wie ich das eigentlich auch so von den kommerziellen Modellen ungefähr kenne.

00:17:15.803 --> 00:17:19.783
Also der Mac hat auch unfassbar Speicherbandbreite, wo der ein bisschen länger

00:17:19.783 --> 00:17:21.183
braucht, das ist Prompt Processing.

00:17:21.283 --> 00:17:27.723
Also wenn du da eine Nvidia-Karte hast, die ballert halt dann richtig übelst drauf, ne?

00:17:28.463 --> 00:17:31.223
Ja, vielleicht könnten wir dazu nochmal was sagen zu diesem Setup.

00:17:34.303 --> 00:17:37.463
Diese Revision von Working Draft wird euch präsentiert von Webcafé,

00:17:37.643 --> 00:17:40.723
der Podcast zur Webentwicklung, Webdesign und Unternehmenskultur.

00:17:41.123 --> 00:17:44.923
Liebe Hörerinnen, liebe Hörer, falls ihr auf Podcasts zur Webentwicklung steht

00:17:44.923 --> 00:17:48.943
und ich habe da ja so einen Anfangsverdacht, dann möchte ich euch an dieser

00:17:48.943 --> 00:17:50.403
Stelle ins Webcafé einladen.

00:17:50.603 --> 00:17:54.283
In diesem Podcast nehmen euch die Hosts Felix und Kai jede Woche mit auf eine

00:17:54.283 --> 00:17:56.723
Reise quer durch den Arbeitsalltag einer Agentur.

00:17:57.383 --> 00:18:00.743
Das berührt alles zwischen PHP und TypeScript bis hin zu Herausforderungen der

00:18:00.743 --> 00:18:02.223
Unternehmens- und Personalführung.

00:18:02.643 --> 00:18:06.423
Webcafé ist nicht ganz wie Working Draft. Es geht nicht permanent um technisches

00:18:06.423 --> 00:18:09.743
Tieftauchen und Felix und Kai tun auch alles, um auch Junioringe,

00:18:09.883 --> 00:18:14.083
Programmiererinnen und Programmierer sowie nicht-technisches Führungspersonal abzuholen.

00:18:14.423 --> 00:18:15.923
Klingt gut? Dann hört rein!

00:18:16.403 --> 00:18:21.123
Das Webcafé findet ihr auf webcafé-podcast.de und überall sonst,

00:18:21.303 --> 00:18:27.603
wo frische Podcasts angeboten werden. Das war nochmal webcafé-podcast.de oder

00:18:27.603 --> 00:18:29.323
die Podcast-Plattform eurer Wahl.

00:18:29.603 --> 00:18:33.363
Wir danken Webcafé für die Unterstützung von dieser Revision von Working Draft.

00:18:36.963 --> 00:18:40.103
Wir sind ja hier gerade in so eine Art Sendung reingestolpert.

00:18:40.523 --> 00:18:43.463
Wir haben aber so den Anfang ein bisschen verpasst.

00:18:43.743 --> 00:18:51.623
Du hast schon gesagt, softwareseitig LM Studio ist das, womit du es betreiben kannst.

00:18:52.503 --> 00:18:57.583
Auf Hugging Face gibt es halt offene Modelle, die man verwenden kann.

00:18:58.717 --> 00:19:02.717
Aber so Hardware-seitig wäre für mich nochmal total spannend.

00:19:02.957 --> 00:19:06.177
Also die Frage, die ich jetzt gerade mit dem, was du sagtest,

00:19:06.177 --> 00:19:10.557
im Hinterkopf hatte, war halt, ja, kann ich denn jetzt einfach mir eine krasse

00:19:10.557 --> 00:19:15.137
Nvidia-Grafikkarte irgendwo holen und dann macht die das?

00:19:15.137 --> 00:19:18.797
Oder eine spezielle Karte, also

00:19:18.797 --> 00:19:25.337
eine der AI-Prozessoren, und die dann anschließen an den vorhandenen Mac?

00:19:26.357 --> 00:19:31.157
Oder wie macht man das? Ja, das geht leider nicht. Ja, also das geht ganz neuerdings,

00:19:31.637 --> 00:19:38.457
aber weder Apple noch Nvidia hatten halt Interesse daran, Treiber für Nvidia-Karten

00:19:38.457 --> 00:19:41.797
zu schreiben nach deren Switch auf Apple Silicon.

00:19:42.737 --> 00:19:51.497
Das heißt also, ich habe auch so eine externe kleine Zigarettenschachtelgroße ATX 3060-Karte.

00:19:52.272 --> 00:19:56.472
Die ich an meine Windows-Maschinen anschließen kann. Sei es zum Gaming,

00:19:56.692 --> 00:19:58.792
aber meistens eben für so KI-Sachen.

00:19:59.112 --> 00:20:01.952
Also ich habe so die Produkte von Topaz Labs, ich weiß nicht, ob ihr die kennt.

00:20:02.872 --> 00:20:06.052
Das ist so Bildbearbeitung und Videobearbeitung. Da kann man halt so Bilder

00:20:06.052 --> 00:20:10.692
hochskalieren, Details halt hochskalieren, die es gar nicht gibt.

00:20:12.112 --> 00:20:17.152
Und auch Videos quasi von SD auf HD hochrechnen und so Zeugs.

00:20:17.372 --> 00:20:20.532
Und das braucht halt Rechenleistung. Dafür habe ich die. Geht aber nicht am Mac.

00:20:21.152 --> 00:20:23.912
Das ist gerade jemand rausgekommen, so ein Open-Source-Projekt,

00:20:24.052 --> 00:20:27.852
die haben eigene Treiber geschrieben und sogar Apple hat es sogar abgesegnet.

00:20:27.992 --> 00:20:32.592
Also du kannst das jetzt machen, aber die sind so lahm, dass man davon eigentlich gar nichts hat.

00:20:33.372 --> 00:20:38.632
Genau, also das eine NVIDIA-Karte, ich würde auch eigentlich immer eine NVIDIA-Karte, glaube ich, nehmen.

00:20:39.852 --> 00:20:43.692
Dafür brauchst du eine Linux oder eine Windows-Maschine dann leider.

00:20:44.812 --> 00:20:50.032
Okay. Genau. Und die sind super teuer, leider Gottes. Also vor allem die, die genug RAM haben.

00:20:50.412 --> 00:20:56.252
Also ich hatte ja gerade erzählt, Also der Mac Studio, den ich da habe, der hat 32 GB RAM.

00:20:57.232 --> 00:21:03.412
Das ist okay. Aber auch da haben wir ja gesagt, wenn die Modelle so ein bisschen

00:21:03.412 --> 00:21:09.792
cooler sein sollen und der Kontext nicht zu klein, dann ist das jetzt auch nicht überbordend viel.

00:21:10.332 --> 00:21:13.192
Und die einzige Grafikkarte, die du halt mit der Größe bekommst,

00:21:13.192 --> 00:21:15.992
ist die größte Nvidia und die kostet halt 3.500 Euro.

00:21:17.252 --> 00:21:22.232
Okay. Okay, das heißt, da ist man dann schon eher in einem Bereich unterwegs,

00:21:22.392 --> 00:21:26.672
wo man sich halt wirklich Gedanken machen muss, ob man das zu Hause betreiben

00:21:26.672 --> 00:21:30.132
möchte oder und das wäre vielleicht so,

00:21:30.312 --> 00:21:34.232
also ich würde gleich gerne mal in diesem Bereich, was machst du eigentlich,

00:21:34.332 --> 00:21:39.852
wenn du das Virtualisierte irgendwo betreibst, aber mal vielleicht vorher noch kurz gesprochen.

00:21:40.592 --> 00:21:45.552
Also nochmal zu der Hardware, die du jetzt besorgt hast, ist eigentlich nur

00:21:45.552 --> 00:21:49.372
diesen MacStudio und that's it, oder wie?

00:21:50.512 --> 00:21:52.452
Genau, ich habe nur den MacStudio.

00:21:53.532 --> 00:21:58.252
Den habe ich mir bei Backmarket geholt für 1000, glaube ich 1100 oder so.

00:21:59.412 --> 00:22:02.212
Genau, und der hat halt den M1 Max drin, ist nicht mehr der neueste,

00:22:02.292 --> 00:22:07.072
aber der Max hat halt, also der hat nicht mehr CPU-Kerne, aber hat mehr GPU-Kerne

00:22:07.072 --> 00:22:09.432
und die brauchst du halt dann für dieses Prompt-Processing.

00:22:10.592 --> 00:22:17.432
Trotzdem, im Vergleich zu einer Nvidia-Karte ist der trotzdem keine Rakete, aber ist okay.

00:22:19.192 --> 00:22:24.032
Naja, anscheinend, also wenn ihr das, ja, also du das verwendest und deine Frau

00:22:24.032 --> 00:22:29.612
und die Familie irgendwie verwendet, scheint es ja nicht ganz so schlecht zu sein.

00:22:29.892 --> 00:22:32.992
Wahrscheinlich halt nicht, wenn du irgendwie sagst so, hey, ich möchte da jetzt,

00:22:33.512 --> 00:22:38.672
mein Coding-Modell drauf betreiben und irgendwie fünf Agenten gleichzeitig spawnen,

00:22:38.752 --> 00:22:41.692
damit die dann halt ihre Arbeit machen und ich gehe mir schnell einen Kaffee

00:22:41.692 --> 00:22:45.392
holen und danach gucke ich mal, was das Ergebnis ist und lasse sie dann nochmal arbeiten.

00:22:46.112 --> 00:22:49.232
Dafür reicht es vielleicht noch nicht ganz. Ich kenne aber auch wen, der das macht.

00:22:49.532 --> 00:22:53.832
Also der, der aber auch eben viel mit Python programmiert, der hat schon MacStudio,

00:22:54.012 --> 00:22:59.412
aber ein aktuelles mit übelst viel RAM, ich weiß nicht, ob der das 512 GB RAM-Teil

00:22:59.412 --> 00:23:03.912
hat und der benutzt das halt als lokales Tool, weil der halt auch für Kunden arbeitet,

00:23:04.472 --> 00:23:08.912
wo das einfach nicht okay, also darf nicht die Daten ausleiten irgendwo hin.

00:23:10.952 --> 00:23:16.012
Genau, und der macht das und auch recht erfolgreich. Genau.

00:23:17.212 --> 00:23:19.912
Und was er auch manchmal macht, das ist vielleicht auch noch so ganz interessant,

00:23:20.212 --> 00:23:25.472
hat er erzählt, dass er die Modelle, dass er manchmal quasi die KI nutzt,

00:23:25.732 --> 00:23:29.332
um die Daten zu anonymisieren, die er dann rausleitet.

00:23:30.472 --> 00:23:34.192
Das ist gut. Also seine lokale KI, ja, genau, das ist eigentlich auch eine coole Idee.

00:23:35.012 --> 00:23:38.732
Ja, vor allem, das ist wahrscheinlich ein Job, der sozusagen relativ trivial

00:23:38.732 --> 00:23:43.892
ist im Vergleich zu, du willst das halt in ein Reasoning-Modell reingeben und

00:23:43.892 --> 00:23:48.292
das soll dann mal am besten mit noch mehr Arbeitsspeicher,

00:23:49.012 --> 00:23:53.112
genau diese Roundtrips, von denen du vorhin Sprachspilter machen,

00:23:53.312 --> 00:23:57.672
aber wenn du dann halt diese Anonymisierung bei dir lokal von den Daten machst.

00:23:59.591 --> 00:24:02.231
Passt du ja eigentlich nur Text an im Endeffekt, ne?

00:24:03.671 --> 00:24:07.631
Genau, ich weiß nicht, wie, also ich hätte immer so ein bisschen natürlich die

00:24:07.631 --> 00:24:10.491
Befürchtung, dass das irgendwie nicht so sauber klappt.

00:24:11.791 --> 00:24:13.111
I don't know, ich weiß es nicht.

00:24:14.751 --> 00:24:20.951
Die Frage ist halt, wie man, also das ist eh so eine Frage, wie testet man das, ne?

00:24:21.071 --> 00:24:23.951
Oder wie kann man sich ja stellen, was da eigentlich gesendet wird?

00:24:23.951 --> 00:24:25.651
Klar, du kannst dir immer die Logs angucken.

00:24:25.951 --> 00:24:30.351
War ich jetzt zum Beispiel auch bei mir in dem System, was ich da baue,

00:24:30.691 --> 00:24:33.611
schaue ich immer rein, okay, was werden denn jetzt gerade eigentlich für Daten

00:24:33.611 --> 00:24:35.131
gesendet und sind das die richtigen?

00:24:35.331 --> 00:24:39.951
Sind da alle Daten drin, die drin sein sollen? Fehlt da was oder sind es die falschen Daten?

00:24:40.471 --> 00:24:44.171
Sodass zu viel gesendet wird, ist jetzt bei mir eher nicht so ein Problem,

00:24:44.371 --> 00:24:48.031
aber genau, es ist halt sehr eine manuelle Arbeit, ne, und dann kannst du ja

00:24:48.031 --> 00:24:49.051
eigentlich wieder hingehen, okay,

00:24:49.431 --> 00:24:55.471
muss ich halt eine AI verbauen oder halt irgendwie einen Agenten verbauen, eher so vielleicht.

00:24:56.431 --> 00:25:00.871
Oder du hast halt vielleicht irgendeinen, keine Ahnung, Standard-Prompt,

00:25:00.991 --> 00:25:04.991
den du halt verwenden kannst, einen Skill, der dir dann halt immer wieder das

00:25:04.991 --> 00:25:08.631
Gleiche tut auf den Daten, die du da rausleitest oder so.

00:25:09.491 --> 00:25:11.231
Als Art Grundjob gefahren.

00:25:13.651 --> 00:25:18.031
Genau, ich finde es immer interessant, diesen Bereich der Virtualisierung sich anzugucken.

00:25:18.151 --> 00:25:20.451
Also theoretisch kannst du doch auch hingehen und sagen, okay,

00:25:20.611 --> 00:25:25.211
ich gehe jetzt hier, ich werfe jetzt mal Mitwald in den Raum, gehe zu Mitwald,

00:25:25.651 --> 00:25:30.491
kaufe mir da irgendeine Maschine, die halt so relativ viel GPU und Arbeitsspeicher

00:25:30.491 --> 00:25:36.191
hat und mache es dann ähnlich wie du, verwende LM Studio,

00:25:37.151 --> 00:25:40.531
und installiere mir meine Modelle. Würde das gehen?

00:25:42.344 --> 00:25:46.944
Ich glaube, LLM Studio würde man dann, also würde man wahrscheinlich nicht nehmen,

00:25:47.024 --> 00:25:49.424
weil LLM Studio ist ja im Prinzip eine GUI.

00:25:49.644 --> 00:25:54.424
Also ich will halt nicht alles in Python machen. Ich bin ja kein Python-Mensch.

00:25:54.944 --> 00:26:00.844
Da fand ich eine GUI gut. Und so habe ich eine GUI für eben die LLMs.

00:26:01.444 --> 00:26:07.744
Dann habe ich die GUI für die Image-Generation-Geschichten, die ein bisschen komplizierter ist.

00:26:08.404 --> 00:26:12.704
Also die hat dann auch so wie so eine Art Graphen, also wo du quasi dir das

00:26:12.704 --> 00:26:16.244
zusammenstöpselst, was wann wie passiert, so ein Ablauf.

00:26:16.544 --> 00:26:19.124
Da gibt es aber so fertige Rezepte für Recipes.

00:26:20.844 --> 00:26:25.764
Genau, und ich glaube, man würde dann einfach Lama CPP oder VLLM,

00:26:25.884 --> 00:26:30.344
ist ja so die andere Umgebung, die man dann, das soll auch besser sein,

00:26:30.344 --> 00:26:33.544
wenn du quasi viele Parallele-Requests drauf schickst.

00:26:34.404 --> 00:26:38.384
Genau, das skaliert das einfach besser als Lama's TPP.

00:26:39.204 --> 00:26:41.444
Aber Mitwald hat ja sogar tatsächlich,

00:26:42.544 --> 00:26:46.524
die haben ja, du kannst ja direkt quasi die Modelle da mieten.

00:26:46.724 --> 00:26:50.584
Also es ist schon alles fertig bei denen, also wo du gerade Mitwald meintest.

00:26:51.404 --> 00:26:54.984
Also jetzt XB speziell, da musst du gar nichts mehr machen.

00:26:55.564 --> 00:27:00.064
Ich gucke gerade nach. Ja, ich habe jetzt auch nochmal hier eine Website von denen gefunden.

00:27:00.064 --> 00:27:04.624
Genau hier gar nicht, also andere haben das bestimmt auch, aber wir beschäftigen

00:27:04.624 --> 00:27:07.224
uns halt nur mit Midweit, weil das sind ja hier unsere Partner,

00:27:07.464 --> 00:27:10.604
das wissen alle zuhören. Ja, aber anderen haben wir es tatsächlich noch nicht gesehen.

00:27:11.024 --> 00:27:14.304
Also ich weiß, dass du bei Hetzner kannst du auf jeden Fall eine Maschine mit

00:27:14.304 --> 00:27:22.024
zum Beispiel so einer NVIDIA RTX Pro holen, also quasi die professionelle Serie von denen.

00:27:23.264 --> 00:27:27.004
Und da kriegst du dann auch teilweise noch ein bisschen mehr RAM,

00:27:27.404 --> 00:27:31.364
also Grafikkarten RAM als bei den Consumer-Modellen. Aber das ist halt dann schon,

00:27:32.540 --> 00:27:40.620
Teuer. Also ich sehe hier GPT OSS 120B.

00:27:41.100 --> 00:27:44.900
Ich nehme an, 120B steht für die 120 Billion.

00:27:46.120 --> 00:27:49.480
Genau, das ist das große Modell, ja. Ja, das ist ja krass.

00:27:52.020 --> 00:27:56.020
Okay, wow, ja, dann musst du es nicht mal selber installieren und hast es in

00:27:56.020 --> 00:27:57.580
deiner Umgebung laufen.

00:28:00.708 --> 00:28:04.048
Genau, das ist echt cool. Und dann kann man auch sagen, weil das,

00:28:04.108 --> 00:28:06.488
also was ich mir immer so gedacht habe, ist halt,

00:28:06.628 --> 00:28:11.868
irgendwie finde ich es total nervig, dass wenn du halt so ein Open AI beispielsweise

00:28:11.868 --> 00:28:16.928
direkt auf die API zugreifst, dann hast du halt keine Kontrolle darüber,

00:28:17.128 --> 00:28:18.928
dass deine Daten nicht nach Amerika gehen.

00:28:18.928 --> 00:28:23.388
Also du kannst nicht sicherstellen, dass du im EU-Kontext sozusagen unterwegs

00:28:23.388 --> 00:28:27.188
bist, ja, und das kann ja aus Marketing-Sicht ein interessantes Thema sein oder so.

00:28:27.588 --> 00:28:30.668
So, jetzt kannst du hingehen und dir das Ganze halt, kannst du halt sagen,

00:28:30.808 --> 00:28:35.788
okay, ich gehe halt mit Microsoft Azure, betreibe mir die Modelle da und dann

00:28:35.788 --> 00:28:39.868
kannst du sicherstellen, okay, dass die Modelle halt in Frankfurt beispielsweise

00:28:39.868 --> 00:28:42.208
liegen, ja, da kannst du dir eine Region auswählen.

00:28:42.208 --> 00:28:46.148
Aber wenn du halt sagen kannst, okay, ich kann mir das sogar mit den Open-Source-Modellen

00:28:46.148 --> 00:28:53.388
selbst betreiben und das reicht mir für das, was ich brauche als so Foundation-Model sozusagen,

00:28:53.868 --> 00:28:58.328
was ja bei den meisten Anwendungen wahrscheinlich der Fall ist,

00:28:58.508 --> 00:29:01.568
ist das natürlich ein Riesenvorteil.

00:29:04.068 --> 00:29:11.168
Dann ist nur noch die Frage und da sind wir so ein bisschen eingestiegen mit auch die Kostenfrage,

00:29:12.808 --> 00:29:15.948
kann man halt ich weiß nicht, wie das hier kostet bei denen,

00:29:16.048 --> 00:29:20.488
wenn man das, müsste doch hier irgendwo stehen ah ja, hier also genau bei Mittwoch

00:29:20.488 --> 00:29:26.288
9 Euro pro Monat 5 Millionen Token hast du dann ja.

00:29:29.188 --> 00:29:32.648
Genau, das ist ja auch jetzt nicht wenig.

00:29:33.728 --> 00:29:38.008
Also im Monat. Ich glaube, dann ist eher hier, du kannst halt 30 Requests pro

00:29:38.008 --> 00:29:41.388
Minute machen und 5 parallele. Das ist auch nicht wenig.

00:29:41.788 --> 00:29:45.428
Aber natürlich, wenn du so eine Horde Agenten hast oder so ein Claw-Bot oder

00:29:45.428 --> 00:29:47.688
so, dann weiß ich nicht, dann vielleicht,

00:29:48.996 --> 00:29:53.076
Holst du dir halt das Pro-Paket. Oder wie auch immer.

00:29:53.616 --> 00:29:58.736
Aber es gibt halt Angebote. Aber genau die Frage ist halt, ich meine,

00:29:58.836 --> 00:30:01.956
das müsste man wahrscheinlich einmal einfach gegenüberstellen und dann macht

00:30:01.956 --> 00:30:05.656
man mal einen Monat einen Test oder ein paar Tage einen Test. Was kostet mich das?

00:30:08.836 --> 00:30:12.876
Spannend, dass das so relativ einfach geht. Man müsste ja im Prinzip dazu wissen,

00:30:12.976 --> 00:30:15.576
was das Endgame der API-Anbieter tatsächlich ist.

00:30:15.716 --> 00:30:17.876
Weil im Moment weiß ja keiner, was was kostet.

00:30:19.036 --> 00:30:23.256
Es ist ja irgendwie klar gewesen, dass du irgendwie, JGPT und Konsorten dass

00:30:23.256 --> 00:30:26.376
die subventioniert waren zu einem wahrscheinlich größeren Anteil,

00:30:26.456 --> 00:30:28.376
als sie es jetzt sind, denn die Preise haben ja angezogen,

00:30:29.076 --> 00:30:32.296
aber das Spannende über diese ganze Kiste ist ja, man weiß ja jetzt immer noch

00:30:32.296 --> 00:30:35.756
nichts darüber, man hat ja eigentlich nichts außer Spekulation.

00:30:35.756 --> 00:30:39.196
Du meinst, was die wahren Kosten sind der Tokens eigentlich oder so?

00:30:39.836 --> 00:30:42.896
Ja gut, die Frage ist halt überhaupt, was willst du als Kosten ansetzen weil

00:30:42.896 --> 00:30:46.396
du hast ja irgendwie so Betrieb und Inference und das kostet halt das eine,

00:30:46.516 --> 00:30:50.676
aber du Du hast ja irgendwie auch Gestehungskosten und Betriebskosten.

00:30:50.956 --> 00:30:54.376
Und das muss ja irgendwie, muss man ja eine Idee davon entwickeln,

00:30:54.476 --> 00:30:57.516
was kostet es wirklich, so etwas zu sein, so etwas zu haben,

00:30:57.636 --> 00:31:01.896
so etwas zu bauen, zu pflegen, um dann tatsächlich irgendwie zu wissen,

00:31:02.236 --> 00:31:05.196
okay, ist das, was jetzt die zum Beispiel jetzt für meine API,

00:31:05.456 --> 00:31:08.276
die ich da bei denen einkaufe, berechnen, ist das irgendwie realistisch?

00:31:08.336 --> 00:31:10.796
Oder muss ich jetzt da mir Sorgen darum machen, dass die tatsächlich,

00:31:11.156 --> 00:31:14.476
wie du prophezeist, demnächst alle untergehen?

00:31:15.756 --> 00:31:18.636
Und man weiß halt so wenig alle werden sie nicht untergehen,

00:31:18.796 --> 00:31:23.096
aber ich glaube, dass sich dann irgendwann also dass welche einfach aussteigen

00:31:23.096 --> 00:31:28.876
müssen, weil sie keine Kohle mehr haben und einfach dann mit den großen, was halt Google ist,

00:31:29.916 --> 00:31:33.676
wer noch ja im Prinzip, ich würde sagen, Google ist ja am stärksten,

00:31:34.016 --> 00:31:36.756
Meta macht auch immer einen auf dicke Hose, aber ich weiß nicht,

00:31:36.816 --> 00:31:38.976
ob die so stark unterwegs sind,

00:31:39.616 --> 00:31:42.156
ja gut, ich meine, die haben halt funktional unbegrenzt Geld,

00:31:42.256 --> 00:31:45.036
die können theoretisch einfach alle aussitzen.

00:31:45.716 --> 00:31:49.836
Dazu müssten sie ja gar nicht die Besten sein. Es gewinnt ja, wer übrig bleibt.

00:31:51.346 --> 00:31:56.746
Genau, aber am Ende, also die Leute werden sich ja dem zuwenden,

00:31:57.006 --> 00:32:00.686
der am besten ist wahrscheinlich, ne, und nicht so ein,

00:32:01.106 --> 00:32:05.666
also die Leute benutzen halt auch keinen Siri von Apple, weil es halt einfach

00:32:05.666 --> 00:32:09.086
kacke ist und die anderen Assistenten sind halt einfach deutlich besser.

00:32:10.666 --> 00:32:14.006
Ähm, genau, und ich glaube, dass das irgendwie so kommen wird,

00:32:14.206 --> 00:32:17.066
dass es dann eben, ich weiß nicht, Microsoft hat ja theoretisch auch eigene,

00:32:17.506 --> 00:32:21.486
ich weiß nicht, die haben Fee heißt ja eine der KIs von denen,

00:32:21.706 --> 00:32:23.086
das ist ja die, die quasi,

00:32:23.626 --> 00:32:27.666
wir hatten ja mal diese Folge mit Local AI, wo halt jetzt Browser auch,

00:32:28.206 --> 00:32:32.946
also Chromium Browser die Möglichkeit angeben, lokale Modelle im Browser zu nutzen,

00:32:34.026 --> 00:32:39.346
bei Google ist das ja ein Gemini, ein kleines Gemini, und bei Microsoft ist

00:32:39.346 --> 00:32:42.726
es viel, aber das ist dann wahrscheinlich das, was hinter Co-Pilot steckt.

00:32:43.886 --> 00:32:47.366
Denke ich mal. Ja, dann wird Google und Microsoft übrig bleiben.

00:32:47.686 --> 00:32:50.906
Ja, ich glaube, Patrick, das ist das relativ technisches, glaube ich,

00:32:50.966 --> 00:32:53.966
weniger wichtig, als was sie finanziell in den Ring werfen können.

00:32:54.446 --> 00:32:57.266
Weil am Ende musst du halt aushalten. Genau, die können das ja kostsubventionieren.

00:32:59.086 --> 00:33:01.946
Ja, was heißt subventionieren? Subventionieren kann ja einerseits heißen,

00:33:02.006 --> 00:33:05.166
ich habe irgendwie ein brauchbares, gutes Produkt und ich subventioniere das

00:33:05.166 --> 00:33:08.246
oder ich subventioniere halt einfach nur so, ich bin halt lang genug da,

00:33:08.366 --> 00:33:10.786
um dann irgendwen irgendwann möglicherweise einfach einzukaufen,

00:33:10.886 --> 00:33:14.326
weil ich halt am Ende der Einzige bin, der noch Kohle hat, weil ich halt eben Microsoft bin, ne?

00:33:15.206 --> 00:33:20.106
Ja, genau. Weil ich eben gar nicht irgendwie, ich hab halt, weil ich weniger

00:33:20.106 --> 00:33:22.186
Geldsorgen hab als ihr oder später.

00:33:22.946 --> 00:33:26.866
Genau. Genau, das ist, glaube ich, die Gewinnerstrategie. Und.

00:33:29.255 --> 00:33:32.335
Wobei es ja auch interessant zu sehen ist, wenn man sich so anguckt,

00:33:32.355 --> 00:33:37.775
beispielsweise jetzt einen Cursor-AI oder so, die sind jetzt auch wieder dabei,

00:33:37.775 --> 00:33:41.215
nochmal zwei Milliarden sich irgendwie zu raisen,

00:33:41.515 --> 00:33:45.535
bei einer 50 Milliarden Bewertung und die haben ja auch ihre eigenen Modelle,

00:33:45.695 --> 00:33:48.255
dieses Composer, heißt das glaube ich,

00:33:48.875 --> 00:33:51.375
was halt so Nischenmodelle, nenne ich es jetzt mal, sind.

00:33:51.375 --> 00:33:55.475
Also wird natürlich breit genutzt, so Engineering,

00:33:56.235 --> 00:34:00.815
Software Engineering, aber grundsätzlich halt nicht diese breiten Modelle,

00:34:00.975 --> 00:34:04.175
wie jetzt beispielsweise ein GPT-Modell, ja,

00:34:04.415 --> 00:34:08.495
und was ich mir halt denke, die werden ja auch bestehen bleiben und das ist

00:34:08.495 --> 00:34:11.595
ja auch so ein eigener, in Anführungsstrichen, eigener Kampf für sich jetzt,

00:34:12.395 --> 00:34:19.895
Anthropics, Cloud Code versus das Modell, was halt dann von,

00:34:21.375 --> 00:34:27.175
Also dieses Composer-Modell oder halt einen GPT-Codex-Max oder sowas.

00:34:27.295 --> 00:34:31.495
Ja, also das sind ja diese ganzen Modelle, die halt für die Programmierung irgendwie am Start sind.

00:34:32.315 --> 00:34:36.375
Und ich nehme mal an, dass da halt nochmal ein anderer, also da wird es nicht

00:34:36.375 --> 00:34:40.235
unbedingt so sein, dass dann halt irgendwie Google der Platzhirsch wird.

00:34:41.417 --> 00:34:44.677
Sondern da kann es halt auch durchaus sein, finde ich, dass da halt irgendwie

00:34:44.677 --> 00:34:46.217
was ganz anderes sich durchsetzt.

00:34:48.117 --> 00:34:51.637
Und wahrscheinlich wird es halt genauso sein auch in anderen Branchen,

00:34:51.897 --> 00:34:55.237
wo man dann halt irgendwie ein Modell hat, sage ich jetzt mal,

00:34:55.417 --> 00:35:01.437
im Ingenieurswesen, wo du halt viel mit CAD-Programmen arbeitest,

00:35:01.557 --> 00:35:02.817
wo wahrscheinlich hier so,

00:35:02.957 --> 00:35:06.617
wie heißen die denn nochmal, Autodesk oder so, die haben wahrscheinlich ihre

00:35:06.617 --> 00:35:11.777
eigenen Programme am Start, ihre eigenen Modelle am Start,

00:35:11.937 --> 00:35:14.637
die halt explizit dafür halt trainiert sind.

00:35:15.377 --> 00:35:19.677
Ich sage mal, das macht halt kein Otto-Normal-Konzern, würde ich mal sagen,

00:35:19.817 --> 00:35:23.837
sondern das machen halt nur die spezialisierten Konzerne, schätze ich mal.

00:35:24.617 --> 00:35:27.537
Weiß ich nicht. Also ich meine, die Frage ist halt, was ist dann sozusagen die,

00:35:28.237 --> 00:35:32.717
also wie schneidest du die große Torte, Konzern um zu entscheiden, was ist spezialisiert?

00:35:32.837 --> 00:35:36.617
Also theoretisch könntest du ja sagen, sowas wie Meta, obwohl ja auch ein Oktopus

00:35:36.617 --> 00:35:40.377
mit vielen Händen in sehr vielen Bereichen drin, ist ja im Prinzip,

00:35:40.817 --> 00:35:43.897
ich meine, in erster Näherung der Social-Media-Monopolist.

00:35:44.477 --> 00:35:47.217
Es gibt ja noch eine Menge anderes Zeug neben Facebook und Instagram,

00:35:47.377 --> 00:35:49.537
aber das ist ja quasi unter ferner Liefen.

00:35:50.297 --> 00:35:55.157
Also ich glaube halt wirklich unter der Annahme, dass sich dieser Kram grundsätzlich

00:35:55.157 --> 00:35:58.637
gewinnbringend betreiben lässt, sehe ich halt nicht ein,

00:35:58.717 --> 00:36:03.197
warum es da nicht zu einer größeren Konsolidierung kommen sollte,

00:36:03.197 --> 00:36:07.757
Weil der mit dem dicksten Portemonnaie und dem dicksten Rechenzentrum halt einfach

00:36:07.757 --> 00:36:09.797
inhärent da Skalierungsvorteile hat,

00:36:09.977 --> 00:36:13.297
die halt jetzt nicht ganz so krass sind wie irgendwie so bei klassischem Software-as-a-Service,

00:36:13.417 --> 00:36:17.217
wo halt die Grenzkosten von ich hab halt drei Nutzer irgendwie zu vernachlässigen sind.

00:36:17.277 --> 00:36:19.917
Das ist halt dann bei solchen Workloads nochmal was anderes.

00:36:21.277 --> 00:36:24.757
Aber grundsätzlich sehe ich nicht, warum das irgendwie nicht am Ende irgendwie sein sollte.

00:36:24.877 --> 00:36:29.077
Okay, Google ist halt jetzt was größer geworden und der Rest ist halt so zwischendurch

00:36:29.077 --> 00:36:31.357
mal so ein Blip auf dem Radar gewesen, der dann vereinnahmt wurde.

00:36:31.757 --> 00:36:34.597
Oder, weiß ich nicht, Amazon oder sowas. Ich glaube wirklich,

00:36:34.657 --> 00:36:38.877
die spannende Frage ist nicht, was können die, sondern was können die Finanzjongleure,

00:36:38.957 --> 00:36:40.517
die für die arbeiten. Mhm.

00:36:43.272 --> 00:36:46.232
Ja, also ich finde das auch spannend. Du hast es ja gesagt.

00:36:46.412 --> 00:36:50.332
Ich meine, erstmal würde ich sagen, TikTok ist jetzt nicht so ein kleiner Player

00:36:50.332 --> 00:36:54.612
nebenher, neben dem, was Meta da macht. Auf der anderen Seite.

00:36:55.772 --> 00:36:58.792
Warte mal ab, wo die Reise hingeht. Ich meine, die wurden jetzt ja sozusagen

00:36:58.792 --> 00:37:03.012
ein relevanter Anteil von dem Kram, der jetzt nicht direkt unter chinesischer

00:37:03.012 --> 00:37:06.912
Kontrolle ist, wurde jetzt ja an Oracle so abgetreten.

00:37:07.452 --> 00:37:12.132
Und ich weiß ja nicht, was jetzt Shep, der Apokalyptiker, also meine persönliche

00:37:12.132 --> 00:37:14.432
Meinung ist, es scheppert erst im nächsten Jahr. Shep meint,

00:37:14.452 --> 00:37:15.552
es scheppert schon dieses Jahr, okay.

00:37:16.012 --> 00:37:19.692
Aber wer ist der Erste, der umfällt? Also ich würde auf Oracle wetten,

00:37:19.852 --> 00:37:22.032
weil die halt wirklich gar nichts haben außer Ausgaben.

00:37:22.272 --> 00:37:24.572
Die haben wirklich nichts außer Ausgaben, aber davon reichlich.

00:37:25.072 --> 00:37:28.432
Und dann muss ja irgendwo das TikTok wohin. Und ich weiß halt nicht,

00:37:28.492 --> 00:37:31.372
ob da nicht vielleicht der größte Social-Media-Konzern der Welt nicht sagen

00:37:31.372 --> 00:37:32.972
möchte, vielleicht biete ich da mal für.

00:37:33.632 --> 00:37:35.672
Also TikTok ist jetzt noch da, Aber man muss ja auch gucken,

00:37:35.752 --> 00:37:37.032
was sind da so die relevanten Kisten.

00:37:37.152 --> 00:37:40.212
Und die relevante Kiste, die halt jetzt nicht hinter der großen Firewall ist,

00:37:41.432 --> 00:37:43.652
wird sicherlich nicht lange da bleiben, wo es jetzt ist, würde ich sagen.

00:37:43.732 --> 00:37:46.012
Einfach nur, weil Oracle, da machen ich mir echt Sorgen drum um den Laden.

00:37:48.889 --> 00:37:53.669
Ja, ich weiß gar nicht, was die so anbieten neben dem TikTok-Zeug,

00:37:53.749 --> 00:37:55.549
was sie sich da jetzt zugekauft haben.

00:37:55.909 --> 00:37:59.789
Auch keine Ahnung, wie das seitdem weiterentwickelt wurde oder was sie damit machen.

00:38:00.949 --> 00:38:04.369
Aber ja, du hast vollkommen recht. Also was man schon sieht beispielsweise jetzt,

00:38:05.289 --> 00:38:12.709
also wo halt Manus zum Beispiel, also dieses Programm, was halt Meta auf den

00:38:12.709 --> 00:38:17.449
Markt gebracht hat, wo die halt stark im Social-Media-Game mit werben,

00:38:17.569 --> 00:38:18.849
ist halt auch alles drum.

00:38:18.889 --> 00:38:21.169
Herum, was halt so Social Media anbelangt.

00:38:21.269 --> 00:38:25.269
Also die haben halt ihre Anbindung an das Instagram-MCP und alles,

00:38:25.349 --> 00:38:29.209
was du so rund um dieses ganze Social-Media-Content-Erstellung und so weiter

00:38:29.209 --> 00:38:33.929
machen willst, ist halt trivial geworden dadurch einfach.

00:38:34.129 --> 00:38:37.269
Es funktioniert einfach, sei es jetzt eine Anbindung an Canva,

00:38:37.369 --> 00:38:40.789
wo du sagst, ey, erstell mir doch mal nach dem Muster, was ich hier schon gebaut habe,

00:38:41.129 --> 00:38:45.769
irgendwie fünf Templates, die ich jetzt gerade mal verwenden kann oder mach

00:38:45.769 --> 00:38:51.869
mir mal eine Auswertung von meinem Social-Media-Content bei Instagram oder such mir mal hier folgende.

00:38:53.029 --> 00:38:56.749
Influencer raus, die vielleicht zu meiner Brand passen oder sowas.

00:38:57.489 --> 00:39:02.129
Es ist halt nur Geld draufwerfen und es ist halt nicht ganz günstig einfach.

00:39:02.589 --> 00:39:09.789
Und genauso dann aber auch halt, also alles, was rund um Agentik halt wirklich

00:39:09.789 --> 00:39:15.049
Dinge sind, die halt gemacht werden müssen, kann halt beispielsweise dieses Tool auch.

00:39:15.609 --> 00:39:20.229
Und ist da meiner Meinung nach auch besser als das, was ich jetzt so von JetGPT

00:39:20.229 --> 00:39:23.149
kenne. Da habe ich allerdings auch noch nicht Geld drauf geworfen.

00:39:23.509 --> 00:39:30.429
Aber beispielsweise, was ich bei Gemini auch sehe, wo ich auch ein Business Account habe.

00:39:30.949 --> 00:39:34.949
So, aber ganz anders, was ich merke ist.

00:39:36.466 --> 00:39:40.846
Ich habe irgendwie voll die Kosten auf einmal mit AI. Also das war jetzt eine

00:39:40.846 --> 00:39:44.986
Zeit lang war das so, dann waren das mal hier 20 Euro und dann hast du mal wieder

00:39:44.986 --> 00:39:50.286
gekündigt und dann hat sie da nochmal 20er und dann sind es mal hier 50 insgesamt im Monat.

00:39:51.286 --> 00:39:55.586
Aber mittlerweile ist es schon so, man hat auch so ein Login,

00:39:56.706 --> 00:40:00.526
also das in diese Tools und man hat so seine Workflows, raus,

00:40:01.706 --> 00:40:06.106
dass man, also ja, ich kann das jetzt alles kündigen und dann spare ich mir

00:40:06.106 --> 00:40:12.826
100 Euro im Monat, aber dann bin ich halt auch einfach geteilt durch 10 Developer,

00:40:13.146 --> 00:40:15.026
ja, oder nicht 10 Hex Developer,

00:40:15.366 --> 00:40:20.406
sondern divided by 10 Developer und das will ich halt nicht mehr missen,

00:40:20.566 --> 00:40:23.586
so, und das ist halt, das ist halt eigentlich hart und krass,

00:40:23.766 --> 00:40:26.466
aber ich finde, man muss sich das irgendwo eingestehen und dann wirft man halt

00:40:26.466 --> 00:40:30.146
ein bisschen Kohle drauf und dann läuft's halt auch alles schneller, ne.

00:40:31.767 --> 00:40:36.167
Geht euch das auch so? Das ist natürlich das Game. Naja, mir geht's nicht so.

00:40:36.507 --> 00:40:37.667
Also mir übrigens auch nicht.

00:40:39.207 --> 00:40:45.047
Du bist ja schon, glaube ich, der von uns, der KI-Sachen am meisten nutzt.

00:40:45.567 --> 00:40:50.087
Aber genau, ich glaube, darauf läuft's ja schon hinaus.

00:40:50.327 --> 00:40:56.547
Eben die Hoffnung, dass man so die Leute trappt in seinen coolen Tools,

00:40:56.987 --> 00:41:00.207
die momentan vielleicht einfach noch günstiger angeboten werden,

00:41:00.207 --> 00:41:05.087
weil es halt so ein, weiß ich noch, aktuell noch so ein Wettlauf um Marktanteile

00:41:05.087 --> 00:41:07.487
ist und wer sich am Ende durchsetzt.

00:41:09.067 --> 00:41:12.147
Und genau, da spielen solche Überlegungen halt dann eine Rolle,

00:41:12.327 --> 00:41:14.047
warum ich mich damit beschäftigt habe einfach.

00:41:15.467 --> 00:41:22.287
Also warum du jetzt dein eigenes Tool sozusagen bei dir zu Hause betreibst. Genau, ja, genau.

00:41:23.527 --> 00:41:28.227
Peter macht sich ein Monster Byte Energy auf, damit er hier am Abend die...

00:41:29.087 --> 00:41:30.867
Ja, ist das denn ein Energy Drink?

00:41:31.927 --> 00:41:36.147
Von Kronbach an der Energy Drink oder so. Ein Radler ist das.

00:41:37.107 --> 00:41:40.807
Ja, sehr gut, sehr gut. Du warst auch Radeln gestern. Das stimmt,

00:41:40.887 --> 00:41:43.227
ich war Radeln, in der Tat. Ja.

00:41:44.527 --> 00:41:47.487
Genau. Naja, das Coole ist halt, du hast halt auch einfach ganz,

00:41:47.767 --> 00:41:54.187
also die Standard-Schnittstellen, die es so gibt, also hier die OpenAI-Schnittstelle

00:41:54.187 --> 00:41:58.107
und da gibt es so eine andere Schnittstelle, deren ich vergessen habe.

00:41:58.227 --> 00:42:01.087
Und du kannst halt dann auch Tools daran anbinden.

00:42:01.347 --> 00:42:09.407
Also du kannst dann alles, was quasi sich anbinden lässt, eine externe AI,

00:42:09.727 --> 00:42:13.747
API, kannst du halt dann an dein lokales Moped anschließen.

00:42:14.107 --> 00:42:20.167
Also meinst du so dieses MCP-Support dann im Endeffekt?

00:42:20.307 --> 00:42:24.707
Also dass du halt jedes MCP von irgendwoher anschließen kannst.

00:42:27.462 --> 00:42:31.282
Also MCPs kannst du auch, aber das ist dann quasi andersrum.

00:42:31.482 --> 00:42:39.362
Also würdest du ja dann quasi dein Rumpelkammer-Mac mit MCPs versehen. Ja.

00:42:39.982 --> 00:42:45.142
Und ich meinte eher, dass du, also wenn du jetzt eine IDE hast oder irgendwelche

00:42:45.142 --> 00:42:50.962
Tools, an die du quasi deinen OpenAI-API-Key reinhängen kannst und das dann

00:42:50.962 --> 00:42:52.422
nutzen kannst im Internet,

00:42:53.242 --> 00:42:57.682
das kannst du dann austauschen, weil das eben kompatibel ist und du hast halt

00:42:57.682 --> 00:42:59.002
aber dann einfach nur keinen Key.

00:42:59.682 --> 00:43:02.982
So, gibt's halt nicht. Okay, also theoretisch könntest du halt sagen,

00:43:03.142 --> 00:43:06.682
okay, beispielsweise jetzt in Cursor kannst du sagen, okay, ich kann hier eine

00:43:06.682 --> 00:43:11.622
eigene API sozusagen anbinden,

00:43:11.982 --> 00:43:19.242
also kannst du einen eigenen OpenAI API Key hinterlegen oder Anthropic oder Google, wie auch immer.

00:43:19.422 --> 00:43:24.722
Oder du machst halt dein eigenes Ding und da würdest du dann halt einfach die

00:43:24.722 --> 00:43:31.282
Shep API hinterlegen. Genau, richtig.

00:43:31.402 --> 00:43:33.742
Shep AI, das ist mein Produkt, das ich kaufen würde.

00:43:34.802 --> 00:43:39.422
Okay, na, ich werde mal dran arbeiten. Also wenn du Shep dann das Reasoning

00:43:39.422 --> 00:43:43.122
für uns machst, dann machen wir das. Ja, stimmt.

00:43:44.902 --> 00:43:49.302
Eigentlich ist das gar nicht maschinell, sondern ich sitze dann da und beantworte diese Sachen so.

00:43:49.822 --> 00:43:54.582
Perfekt. Naja, das ist doch, was AGI heißt. AGI ist doch immer A Guy Instead. Ja.

00:43:55.263 --> 00:43:59.123
Von daher? Ja, stimmt. Nice.

00:44:00.603 --> 00:44:05.963
Ich wollte noch sagen, du kannst natürlich auch mehrere Modelle in LM Studio

00:44:05.963 --> 00:44:08.483
laufen lassen und du kannst auch umschalten zwischen Modellen.

00:44:08.623 --> 00:44:10.363
Also im Grunde das, was man auch so kennt.

00:44:11.003 --> 00:44:15.183
Also so, wenn man jetzt irgendwie, manchmal will man das Mini-Modell,

00:44:15.323 --> 00:44:17.743
mal will man ein Reasoning haben, mal will man dies, das, jenes.

00:44:18.783 --> 00:44:25.463
Das geht auch. Du kannst dann auch über diese Oberflächen umschalten und genau,

00:44:25.643 --> 00:44:28.783
was, vielleicht noch eine Sache zu den Modellen, was so die Geschwindigkeit

00:44:28.783 --> 00:44:33.523
angeht, ich habe jetzt einen, also es gibt vier, Gamma-4-Modelle.

00:44:35.663 --> 00:44:41.803
Und, warte mal, welches habe ich denn hier? Es gibt halt zwei kleinere,

00:44:42.023 --> 00:44:45.363
Anführungszeichen, das kleinste ist halt auch für Mobile gedacht,

00:44:46.003 --> 00:44:49.963
genau, und ich habe ein 26 Milliarden Parameter-Modell,

00:44:50.803 --> 00:44:56.823
was an sich dann, was schon sehr viel, also Also was schon relativ Großes,

00:44:57.223 --> 00:45:03.943
aber das ist ein Modell, was so ein Mixture of Expert Ansatz hat und das ist,

00:45:04.363 --> 00:45:11.163
dass immer nur vier Milliarden Parameter sozusagen aktiv sind und der intern

00:45:11.163 --> 00:45:18.083
so quasi umschaltet auf den Spezialisten innerhalb sich selbst für deine Aufgabe.

00:45:18.083 --> 00:45:26.603
Und jeder dieser Experts nutzt eben vier Milliarden Parameter und dadurch ist

00:45:26.603 --> 00:45:30.503
es eben auch so schnell wie ein vier Milliarden Parameter Modell.

00:45:31.163 --> 00:45:35.323
Also deswegen ist es relativ schnell und trotzdem weiß es halt relativ viel,

00:45:35.543 --> 00:45:39.463
weil es komplett ja im Speicher vorhanden ist und einfach on demand geguckt

00:45:39.463 --> 00:45:42.043
wird, welcher Expert ist jetzt der richtige,

00:45:42.383 --> 00:45:46.563
um diesen Task irgendwie zu bearbeiten.

00:45:46.563 --> 00:45:48.563
Das finde ich eigentlich ganz cool.

00:45:48.903 --> 00:45:52.083
Guten Kniff. Gibt es ein paar Modelle, die das können...

00:45:55.416 --> 00:45:59.376
Ja, definitiv spannend. Und ich glaube, das ist ja auch die Frage so für die Zukunft.

00:45:59.516 --> 00:46:04.876
Wie kriegt man es halt hin, Riesenmodelle zu haben, aber halt dann auf genau

00:46:04.876 --> 00:46:08.336
den Fall zu agieren, der halt gerade vorliegt.

00:46:09.096 --> 00:46:12.156
Ich denke auch gerade an die Programmierung, die ich jetzt im Moment mache,

00:46:12.836 --> 00:46:17.936
wo ich halt auch möchte, dass halt bestimmte Sachen an die AI,

00:46:18.176 --> 00:46:23.796
also an die API, sage ich mal, in bestimmten Kontexten halt mitgegeben werden.

00:46:23.796 --> 00:46:30.216
Und im Endeffekt hat man ja häufig dieses Beschreiben einer Persona.

00:46:30.556 --> 00:46:35.256
Du sagst halt jetzt, okay, verhalte dich mal, als wärst du XYZ.

00:46:35.656 --> 00:46:41.716
Und das kannst du ja auch auf eine technischere Ebene runterbrechen und dann darauf reagieren.

00:46:42.156 --> 00:46:48.456
Und wenn du dann nur noch praktisch dieses Modell im Speicher vorhalten musst,

00:46:48.636 --> 00:46:50.316
kannst du ja deinen Speicher viel kleiner halten.

00:46:51.476 --> 00:46:57.196
Also Modellteil nenne ich es jetzt mal so. Genau, aber das ist ja wahrscheinlich auch super,

00:46:57.536 --> 00:47:01.356
ja keine Ahnung, also ich finde das super spannend mal zu wissen, wie kriegt man es hin,

00:47:01.556 --> 00:47:06.176
die Modelle so zu optimieren, dass sie halt weniger Speicher verbrauchen,

00:47:06.176 --> 00:47:08.736
aber stärker werden an für sich,

00:47:08.836 --> 00:47:11.776
weil das ist ja eigentlich so die Aufgabe wahrscheinlich für die nächsten Jahre,

00:47:11.876 --> 00:47:16.516
dass man die Hardware-Consumption halt irgendwie runterbekommt und stärkere

00:47:16.516 --> 00:47:18.836
Modelle auch viel weniger Hardware laufen lassen kann.

00:47:20.083 --> 00:47:24.763
Ich glaube, das ist eben aktuell so eine Kombination aus diesem Quantisieren,

00:47:25.023 --> 00:47:29.263
also diesem auf niedrig kleinere Bit-Zahlen runterbrechen.

00:47:29.463 --> 00:47:32.523
Da haben wir auch halt echt einen coolen Artikel, den ich gepostet habe bei

00:47:32.523 --> 00:47:35.943
uns in dem Reading-List-Kanal bei uns im Slack.

00:47:36.483 --> 00:47:42.583
Den versuche ich auch in die Shownotes zu packen. Genau, und das andere ist

00:47:42.583 --> 00:47:46.803
eben, dass man dieses Mixture of Expert Ding hat,

00:47:47.103 --> 00:47:49.883
wo quasi das ganze Modell leider immer noch im Speicher sein muss,

00:47:50.043 --> 00:47:55.923
aber quasi für die Bearbeitung relevant ist dann eben nur ein Teil und entsprechend

00:47:55.923 --> 00:47:58.203
viel schneller funktioniert das Ganze dann.

00:47:58.863 --> 00:48:04.183
Und wo sie jetzt auch gerade dran sind, hat Google auch was rausgebracht,

00:48:04.503 --> 00:48:08.503
aber das ist jetzt noch so ein bisschen Beta oder Alpha,

00:48:08.863 --> 00:48:14.583
ist, dass du dieses Quantisieren für das Modell kannst du auch anwenden auf den Kontext.

00:48:15.583 --> 00:48:19.463
Weil da gibt es so, also das Problem im Kontext ist ja auch,

00:48:19.683 --> 00:48:22.263
je länger dein Gesprächsstrang ist,

00:48:22.643 --> 00:48:26.843
es fließt ja immer alles wieder in den nächsten Prompt rein,

00:48:27.043 --> 00:48:33.823
was schon bislang da war oder in die Berechnung des nächsten Wortes der Antwort.

00:48:34.123 --> 00:48:38.783
Also alles, was bis zu diesem Zeitpunkt, sei es von dir, wie auch als Antwort

00:48:38.783 --> 00:48:43.163
von dem Modell ausgegeben wurde, wandert sozusagen als Kriterium wieder in die

00:48:43.163 --> 00:48:44.403
Berechnung des nächsten Wortes.

00:48:45.943 --> 00:48:50.483
Und das verbraucht natürlich zunehmend Speicher und wenn man das eben auch quantisieren

00:48:50.483 --> 00:48:55.443
kann, dann braucht man da auch weniger Speicher und dann geht es auch schneller.

00:48:59.027 --> 00:49:03.107
Ja, ich bin auch gespannt. Aber natürlich, du hast ja immer diese Rebound-Effekte natürlich.

00:49:03.487 --> 00:49:08.627
Also, wenn wir Modelle weiter betreiben würden wie JetGPT, als es irgendwie

00:49:08.627 --> 00:49:14.667
bekannt wurde 2022, hätten wir wahrscheinlich Modelle, die schneller, kompakter wären und so.

00:49:14.887 --> 00:49:20.087
Aber der Rebound-Effekt sagt halt dann, ja, nee, wir machen es andersrum.

00:49:20.167 --> 00:49:25.027
Wir nutzen weiterhin alles bis zum Maximum aus und machen Modelle einfach nur

00:49:25.027 --> 00:49:30.187
besser. Ja, was uns ja schon entgegenkommt.

00:49:30.347 --> 00:49:35.127
Also wenn man jetzt mal überlegt, wie sich seit 22 halt die Welt oder 23,

00:49:35.127 --> 00:49:39.107
wie auch immer, dann weiterentwickelt hat im AI-Kontext.

00:49:41.207 --> 00:49:44.947
Oder auch in den letzten drei Monaten oder sechs Monaten so.

00:49:44.947 --> 00:49:49.867
Ich finde das, also den Speed, den wir gerade sehen, halt dieser Druck,

00:49:50.027 --> 00:49:53.467
der bei allen drauf ist, weil sie überall immer die Ersten sein wollen.

00:49:54.547 --> 00:49:58.987
Ich finde gerade cool, weil uns als User das total entgegenkommt.

00:49:59.147 --> 00:50:03.407
Jetzt in meiner jetzigen Rolle kann ich das sagen, weil ich halt nicht für ein

00:50:03.407 --> 00:50:07.427
Großkonzern gerade arbeite und da ist wahrscheinlich eine andere Nummer,

00:50:07.647 --> 00:50:08.707
könnte ich mir vorstellen.

00:50:09.467 --> 00:50:13.987
Ähm, ja. Wenn Großkonzern dürftest du es wahrscheinlich gar nicht nutzen oder

00:50:13.987 --> 00:50:16.827
du, die müssten ein On-Premise-Ding haben oder es muss halt,

00:50:16.947 --> 00:50:23.927
das muss dann Co-Pilot sein, weil nur Microsoft hat den garantiert, dass es in der EU ist oder,

00:50:24.987 --> 00:50:27.587
den sogar On-Premise installiert, I don't know.

00:50:27.807 --> 00:50:31.547
Also da kannst du echt nicht nach der Kategorie Großkonzern gehen.

00:50:31.787 --> 00:50:33.107
Die sind da sehr unterschiedlich drauf.

00:50:33.487 --> 00:50:36.047
Also wenn ich so mit Nerds rede auf Konferenzen oder ähnlichem,

00:50:36.407 --> 00:50:41.647
äh, gibt's halt wirklich so, äh, Leute, die halt so all-in sind und welche,

00:50:41.647 --> 00:50:45.487
die mehr so wie meine Wenigkeit unterwegs sind und für wen arbeite ich,

00:50:45.507 --> 00:50:47.067
ist da echt nicht das entscheidende Kriterium.

00:50:47.147 --> 00:50:51.727
Das ist wirklich so, wie unternimmt der Laden den Umgang damit? Allgemein. Okay.

00:50:53.581 --> 00:50:56.941
Ja, stimmt. Das deckt sich aber auch mit meinen Erfahrungen, die ich so habe.

00:50:57.241 --> 00:51:02.221
Also, ich sage mal so, ich hatte jetzt in letzter Zeit mal hier und da mit sehr

00:51:02.221 --> 00:51:07.581
konservativen, sagen wir mal, Behörden-ähnlichen Strukturen auch mal zu tun.

00:51:08.641 --> 00:51:15.741
Da merkt man halt, dass das komplett auf Ablehnung noch stößt, wo man da aktuell steht.

00:51:16.841 --> 00:51:20.141
Da war man einfach ja noch nicht an dem Punkt, dass man gesagt hat,

00:51:20.261 --> 00:51:23.721
ja, unsere Engineers müssen enabled werden, AI zu verwenden.

00:51:23.941 --> 00:51:26.801
Und da ging es erstmal nur um Engineering.

00:51:28.061 --> 00:51:31.001
Genau, aber auch an anderen Stellen, wo man natürlich sieht,

00:51:31.161 --> 00:51:35.381
okay, da wurde halt rechtliche Prüfung gemacht und dann ging es halt los und

00:51:35.381 --> 00:51:39.721
jeder entwickelt irgendwie mit einer IDE und man hat dann auch einen größeren

00:51:39.721 --> 00:51:41.201
Contract abgeschlossen oder so.

00:51:42.421 --> 00:51:47.321
Aber ja, genau wie du sagst, Peter, ich glaube, es hängt halt auch viel an den

00:51:47.321 --> 00:51:49.501
Entscheiderinnen und Entscheider dann, ne?

00:51:49.661 --> 00:51:52.621
Also, was haben die für ein Mindset?

00:51:52.761 --> 00:51:56.621
Und wenn die sehen, oh, da kommt was, oh, das ist eine Chance,

00:51:57.561 --> 00:52:01.221
und ja, wir haben hier irgendwie ganz viele Fragen, die wir vorher noch beantworten

00:52:01.221 --> 00:52:03.961
müssen, aber die müssen wir jetzt auch durchgehen und da müssen wir da auch

00:52:03.961 --> 00:52:06.821
irgendwie mal Druck drauf bringen und unser Unternehmen muss das verwenden,

00:52:06.921 --> 00:52:07.761
sonst bleiben wir hinten dran.

00:52:08.761 --> 00:52:12.661
Meine These ist ja, dass sich das irgendwie so in diese, also das Engineering

00:52:12.661 --> 00:52:15.161
zumindest halt in diese zwei Lager splitten wird.

00:52:15.241 --> 00:52:17.461
Einmal die Abgehängten, die halt gesagt haben, na, brauche ich nicht,

00:52:17.541 --> 00:52:20.981
will ich nicht, habe ich keine Lust drauf und die sich dann so im letzten Moment

00:52:20.981 --> 00:52:25.641
doch noch jetzt mal irgendwie damit beschäftigen, weil es ja sein muss und diejenigen,

00:52:25.741 --> 00:52:29.101
die halt gesagt haben, okay, ich embrace das und dann gehe ich damit weiter,

00:52:29.941 --> 00:52:33.741
und nutze es da, wo es halt sinnvoll für mich ist, aber supervise die AI.

00:52:34.901 --> 00:52:38.901
Oder installiere mir zu Hause halt meine eigene Kiste, weil ich dem Ganzen nicht

00:52:38.901 --> 00:52:42.321
vertraue, dass die Daten, die da rausgeschickt werden, halt nicht doch irgendwie

00:52:42.321 --> 00:52:44.881
verwendet werden, um die Modelle zu trainieren oder so.

00:52:46.343 --> 00:52:50.703
Ja, genau. Also es ist natürlich, genau, es ist halt einfach so ein bisschen

00:52:50.703 --> 00:52:58.583
Digital Sovereignity-Gedanke und genau, vielleicht auch so ein bisschen so eine

00:52:58.583 --> 00:53:01.043
Art digitales Prepping, das ich hier betreibe.

00:53:02.663 --> 00:53:08.723
Genau, also ich bin aber auch tendenziell eher so, also ich nutze KI meistens nicht,

00:53:08.923 --> 00:53:12.903
ich lasse die nicht auf dem Code rumdengeln und komme dann nach einer Stunde

00:53:12.903 --> 00:53:16.923
wieder und dann hat die mir da Tonnen von Code geschrieben, die ich dann reviewen

00:53:16.923 --> 00:53:21.083
muss und irgendwann mache ich das dann nicht mehr, weil es mir einfach zu viel wird.

00:53:21.083 --> 00:53:27.843
Also ich nutze es aktuell eigentlich auch eher so als Sparringspartner,

00:53:27.963 --> 00:53:34.023
also in dem Tempo, in dem ich auch in der Lage bin, nachzuvollziehen, also was da passiert.

00:53:34.023 --> 00:53:38.423
Also, weil sonst, weil das andere ist ja fast so, wie wenn ich eine externe

00:53:38.423 --> 00:53:43.103
Agentur beauftragen würde, die mir das programmiert und dann nehme ich das halt entgegen,

00:53:43.883 --> 00:53:50.183
gucke mir das an, stichprobenartig, da bin ich persönlich noch nicht angekommen,

00:53:50.383 --> 00:53:53.663
dass ich das machen möchte, also, weil am Ende...

00:53:54.805 --> 00:53:58.125
Habe ich so das Gefühl, dass dann sonst so, wenn dann irgendwann mal was nicht

00:53:58.125 --> 00:54:01.425
funktioniert und alle Augen richten sich dann auf mich und sagen,

00:54:02.185 --> 00:54:03.625
Schep, woran liegt das denn?

00:54:04.465 --> 00:54:08.965
Tja, woran liegt das? Ja, das ist eine gute Frage. Woran liegt das jetzt?

00:54:09.485 --> 00:54:10.965
Ja, da muss ich jetzt mal.

00:54:11.565 --> 00:54:15.345
Ja, genau. Da muss ich dann wohl mal mit der KI ins Gebet gehen.

00:54:16.205 --> 00:54:20.925
Ja, also ich glaube, ein Vorteil, den ich so bei mir schon feststelle,

00:54:21.085 --> 00:54:25.745
ist in diesem Kontext auch mal Dinge anzunehmen, die die KI macht und sich das

00:54:25.745 --> 00:54:29.145
durchzugucken und zu denken, ja, okay, ach so, so ist das, ja, okay,

00:54:29.585 --> 00:54:32.205
check ich so halb, wird schon passen, let's try it out.

00:54:33.485 --> 00:54:37.325
Für diese Dinge denke ich mir immer, es ist so gut, dass man weiß,

00:54:37.505 --> 00:54:40.805
wie Programmierung an für sich funktioniert.

00:54:41.165 --> 00:54:46.065
Also ich verstehe ja Code. Wenn ich das lese und sehe, da ist Mist,

00:54:46.685 --> 00:54:47.865
dann kann ich was damit machen.

00:54:47.865 --> 00:54:50.945
Ja, und sei es, nachdem jetzt irgendein Fehler aufgetreten ist,

00:54:51.445 --> 00:54:57.165
woran ich arbeite, das hat jetzt hier keine große Relevanz so ungefähr.

00:54:58.765 --> 00:55:01.765
Ich denke manchmal so, und das habe ich auch schon gesehen, ich weiß gar nicht,

00:55:01.805 --> 00:55:05.405
ob ich es hier schon mal erzählt habe, aber ich habe auch mal einen Bekannten,

00:55:05.525 --> 00:55:09.585
der halt irgendwie gesagt hat, so ey, cool, der hat mit Engineering gar nichts

00:55:09.585 --> 00:55:12.845
am Hut. gut, ich habe voll die coole Idee, ich baue mir dafür jetzt mal die App.

00:55:13.045 --> 00:55:18.025
Und dann hat er halt irgendeinem Tool gesagt so, baue mal, mach mal.

00:55:18.165 --> 00:55:21.005
Und am Ende kamen halt Sachen raus, er hat mir den Code gezeigt,

00:55:21.185 --> 00:55:25.925
ich habe in den Code reingeguckt und dachte nur, dreieinhalb tausend Zeilen

00:55:25.925 --> 00:55:32.145
Python-Script, ich weiß nicht, ob das das richtige Programm ist für das, was du tun möchtest.

00:55:33.776 --> 00:55:38.856
Doch, ich weiß das. Das ist es nicht. Und das ist eigentlich nicht das, wo wir hin sollen.

00:55:39.096 --> 00:55:46.336
Aber dieser Slop, der wird da ja halt ganz stark leider erzeugt von den ganzen Tools.

00:55:46.656 --> 00:55:50.036
Und ja, bei den Leuten, die halt dann irgendwie das sich nicht auskennen,

00:55:50.216 --> 00:55:53.416
die nehmen das dann nach. Ach ja, funktioniert ja so ungefähr, wie es soll.

00:55:54.416 --> 00:55:57.316
Ja, ich kann das auch nachvollziehen, also weil du natürlich auch,

00:55:57.456 --> 00:56:01.416
also du kannst es ja nicht bewerten, du siehst ja nur das Ergebnis und das scheint

00:56:01.416 --> 00:56:04.896
ja auch dann vielleicht erst mal okay zu sein, ne? Und vielleicht ist es das auch.

00:56:05.616 --> 00:56:14.816
Aber genau, ich werde ja bezahlt für also für quasi Handwerk und Wissen und

00:56:14.816 --> 00:56:16.956
dass ich eben in der Lage bin,

00:56:17.776 --> 00:56:22.256
irgendwie also dass ich weiß, was ich da was da überall passiert letztlich, ne?

00:56:23.436 --> 00:56:27.856
Und da finde ich, muss man halt einfach aufpassen, dass man das nicht weckt.

00:56:27.956 --> 00:56:30.276
Ich glaube, dass das auch vielleicht schleichend passiert, also dass man vielleicht

00:56:30.276 --> 00:56:34.056
am Anfang da noch hinterher ist und dann irgendwann auch sich so einigermaßen.

00:56:35.796 --> 00:56:41.196
Sicher fühlt und dann selber also sloppy wird, indem man halt einfach Dinge schneller durchwinkt.

00:56:41.296 --> 00:56:43.976
Ja, ich würde auch sagen, du befindest dich da auch so ein bisschen in der Luxusposition,

00:56:44.156 --> 00:56:49.196
als dass du jemand bist, der Programmcode produziert, aber daran gemessen wird,

00:56:49.476 --> 00:56:52.436
dass du dich damit auskennst und dass dass du das kannst und dass du das richtig

00:56:52.436 --> 00:56:54.236
machst und dir über lauter Sachen Gedanken machst.

00:56:54.456 --> 00:56:56.776
Aber das trifft ja nicht für jetzt irgendwie alle zu.

00:56:57.056 --> 00:57:00.116
Da gibt es ja auch Menschen, die sind damit beauftragt.

00:57:00.536 --> 00:57:02.836
Rendere jetzt hier diese React-Komponenten raus so schnell wie möglich.

00:57:03.316 --> 00:57:06.076
Und die existieren da ja unter einem ganz anderen Anforderungsprofil.

00:57:06.836 --> 00:57:09.756
Und wir haben dann auch andere Anreize, mit diesen Tools anders umzugehen.

00:57:11.184 --> 00:57:13.624
Ja, ich glaube, in so einem Agenturumfeld, da kann ich es mir jetzt auch,

00:57:13.744 --> 00:57:16.544
das ist ja auch viel so Feiern-Forget-Projekte, das ist ja auch okay,

00:57:17.004 --> 00:57:21.724
aber gerade wenn es darum geht, irgendwie Langzeitpflege zu betreiben oder auch

00:57:21.724 --> 00:57:25.924
so Dinge, die sich in so einen großen Kontext einfügen müssen,

00:57:26.384 --> 00:57:30.984
also das ist ja auch immer so ein bisschen bei KI, dass die, dass die sehr quasi,

00:57:32.024 --> 00:57:35.384
also klar, du kannst versuchen, viel in den Pond reinzustecken,

00:57:35.524 --> 00:57:40.604
aber die hat ja so eine Neigung dazu, quasi nur auf, also einen Fokus zu setzen.

00:57:40.604 --> 00:57:44.444
Auf ein bestimmtes Problem und das eben auf eine bestimmte Art und Weise zu

00:57:44.444 --> 00:57:48.524
lösen, aber beim nächsten Mal in einer anderen Komponente vielleicht wieder ganz anders.

00:57:49.724 --> 00:57:52.484
Naja, oder das Gegenteil davon. Kann ja genauso gut ein Problem sein.

00:57:52.704 --> 00:57:59.204
Ich erinnere daran, wie ich den OpenClaw-Code immer angeschaut habe und Implementierung

00:57:59.204 --> 00:58:03.004
von so diesem klassischen Wait-Pattern, dass man so sagt hier new promise set

00:58:03.004 --> 00:58:04.864
timeout mit einer Zeit und dann resolve das.

00:58:05.764 --> 00:58:08.664
Das war halt in der ganzen Codebase in einer dreistelligen Anzahl.

00:58:09.664 --> 00:58:14.344
So wieder und wieder verstreut, was ja kein Problem ist oder kein Problem.

00:58:14.964 --> 00:58:18.924
Naja, die Frage ist halt, ist das ein Problem oder ist das Gegenteil davon ein Problem?

00:58:19.184 --> 00:58:23.624
Und was von den beiden Fällen zutrifft, ist halt stark davon abhängig, worum es halt geht.

00:58:26.980 --> 00:58:30.140
Ja, aber Chef, da muss ich dich jetzt aber mal bei dem, was du vorhin gesagt

00:58:30.140 --> 00:58:34.700
hast, kurz mal kritisch fragen. Was weißt du denn, was der Rest der Welt nicht weiß?

00:58:35.140 --> 00:58:39.640
Weil du jetzt ja gesagt hast, dass ja irgendwie im Sinne von ordentlicher Arbeit

00:58:39.640 --> 00:58:43.880
und vernünftig und langfristig und so weiter es ja sinnvoll sei,

00:58:43.880 --> 00:58:46.060
nicht einfach nur alles rauszusloppen.

00:58:47.280 --> 00:58:52.240
Aber wenn ich mir jetzt zum Beispiel so zwei nennenswerte Projekte anschaue,

00:58:52.460 --> 00:58:56.100
das eine wäre halt OpenClaw, das ich mir selber angeguckt habe und das andere

00:58:56.100 --> 00:58:58.540
ist ja der Leak von ClaudeCode selber,

00:58:59.660 --> 00:59:02.820
da scheint das ja so zu sein, dass die Leute die die Suppe tatsächlich selber

00:59:02.820 --> 00:59:06.420
zusammenrühren da eine andere Ansicht haben als du wir hätten jetzt recht.

00:59:09.860 --> 00:59:13.220
Also am Ende wenn sich keiner beschwert die Hörerinnen und Hörer wissen das

00:59:13.220 --> 00:59:17.520
nicht die müssen das begründet kriegen Also ich sag mal so, wenn es gut geht

00:59:17.520 --> 00:59:20.460
und keiner sich beschwert, ist ja alles okay.

00:59:20.920 --> 00:59:25.740
Aber ich fand früher schon, ich war mal in der Agentur gearbeitet,

00:59:25.860 --> 00:59:29.820
die haben ein Typo-3-System aufgesetzt und die waren halt nicht so deep in dem,

00:59:29.920 --> 00:59:31.620
was Typo-3 intern treibt.

00:59:32.360 --> 00:59:36.240
Und ich weiß noch, das war so die DSGVO-Zeit und da wollten dann alle irgendwie

00:59:36.240 --> 00:59:38.720
so Cookie-Banner einbauen lassen.

00:59:39.480 --> 00:59:43.120
Und das ist eigentlich eine total triviale Sache. Nur war das überhaupt nicht

00:59:43.120 --> 00:59:48.900
trivial in Typo 3, weil man musste erst mal kapieren, wie Typo 3 halt intern,

00:59:49.180 --> 00:59:52.440
wie die Philosophie ist, wie das alles funktioniert, dass man einfach so einen

00:59:52.440 --> 00:59:53.660
Cookie-Banner da reinsetzen kann.

00:59:53.860 --> 00:59:56.520
Es war anscheinend sehr schwer. Ich habe es nicht gemacht, aber ich habe es

00:59:56.520 --> 00:59:59.160
halt mitbekommen, dass das irgendwie zwei Tage gedauert hat,

00:59:59.240 --> 01:00:00.360
so einen Cookie-Banner einzubauen.

01:00:00.360 --> 01:00:04.200
Und so ein bisschen ist das halt auch, also es ist so,

01:00:04.820 --> 01:00:11.800
wenn du mit was rumhantierst, dass du nicht quasi selber durchblickst vollständig,

01:00:11.960 --> 01:00:16.160
dann läufst du natürlich Gefahr, irgendwann ein bisschen doof dazustehen, so.

01:00:18.095 --> 01:00:24.575
Und das ist halt, genau, das möchte ich halt eigentlich ungern.

01:00:25.235 --> 01:00:28.455
Also das passiert ja nur,

01:00:28.735 --> 01:00:34.055
wenn das Tempo, also wenn das der Output, den so eine KI erzeugt,

01:00:34.275 --> 01:00:37.075
eben einfach deine eigene Fähigkeit

01:00:37.075 --> 01:00:41.695
übersteigt, das zu konsumieren und zu verinnerlichen und zu kontrollieren.

01:00:44.095 --> 01:00:47.515
Ja, und die Frage ist natürlich, als jemand, der dann in seinem eigenen Gehirn

01:00:47.515 --> 01:00:51.715
sitzt, ob man sozusagen den Moment mitkriegt, wann das nicht mehr der Fall ist.

01:00:53.495 --> 01:00:56.535
Ja, genau, also dass man nicht so davongetragen wird, sozusagen.

01:00:57.175 --> 01:01:00.055
Ja, ich meine, es ist ja selten so, dass man so sagt, so, ich verlaufe mich

01:01:00.055 --> 01:01:05.715
gerade, sondern man merkt halt hinterher, ich habe mich gerade verlaufen und wo ist das passiert?

01:01:07.395 --> 01:01:09.595
Das ist vielleicht auch so eine Art wie so technische Schuld,

01:01:09.815 --> 01:01:12.975
also dass man erst mal sagt, so, jo, gib her alles, aber ich muss mich dann

01:01:12.975 --> 01:01:15.915
schon irgendwann nochmal hinsetzen und versuchen da durchzusteigen.

01:01:16.915 --> 01:01:20.655
Oder du steigst erst dann durch, wenn es ein Problem mit dem Code gibt und dann

01:01:20.655 --> 01:01:23.215
dauert es halt einfach länger, bis du das gefixt hast.

01:01:23.315 --> 01:01:26.795
Ich finde ja technische Schuld schon in seiner Naturversion relativ schwierig

01:01:26.795 --> 01:01:30.415
als Begriff, weil ja Schuld normalerweise, wenn man sein Leben halbwegs im Griff

01:01:30.415 --> 01:01:32.535
hat, einigermaßen quantifizierbar ist.

01:01:32.915 --> 01:01:38.135
Das ist ja mit der technischen Variante, ohne dass man jetzt sozusagen den freundlichen

01:01:38.135 --> 01:01:41.315
Computer hat, der einem das generiert, nicht der Fall. Und damit wird es ja

01:01:41.315 --> 01:01:42.335
sicherlich auch nicht leichter.

01:01:44.183 --> 01:01:48.623
Aber ich finde es ja trotzdem ein zutreffender Begriff, also dass du quasi,

01:01:48.863 --> 01:01:54.423
du nimmst Schulden auf in Form von, also jetzt im klassischen Fall von technischer Schuld,

01:01:55.003 --> 01:01:59.443
dass du irgendwie erstmal Kack-Code schreibst, einfach weil es schnell gehen muss,

01:02:00.223 --> 01:02:05.983
du abkürzt und dann musst du halt irgendwann deine technischen Schulden abbezahlen,

01:02:06.163 --> 01:02:07.643
indem du aufräumst hinterher.

01:02:07.643 --> 01:02:12.063
Aber wie gesagt, das Problem mit dem Bild ist halt meines Erachtens tatsächlich,

01:02:12.343 --> 01:02:14.563
das impliziert halt, was relevant ist.

01:02:14.643 --> 01:02:18.603
Und das, was es impliziert, ist halt eben, dass du tatsächlich irgendwie einen Payment-Plan hast.

01:02:19.383 --> 01:02:22.743
So und so oft machst du das dann und dann ist das Ding gut. Und das ist halt

01:02:22.743 --> 01:02:25.363
eigentlich eine andere Art von Risiko, mit der du da jogglierst.

01:02:25.463 --> 01:02:27.283
Du arbeitest halt eigentlich mit unknown unknowns. uns.

01:02:28.183 --> 01:02:33.203
So, und deswegen muss man, glaube ich, mit dieser Sache etwas vorsichtiger umgehen

01:02:33.203 --> 01:02:35.963
und nicht sagen, wir nehmen das jetzt auf und dann bezahlen wir das irgendwann

01:02:35.963 --> 01:02:38.583
ab, weil man ja gar nicht notwendigerweise sagen kann,

01:02:39.423 --> 01:02:44.803
was das halt eben impliziert, wenn man sich jetzt für eine Entscheidung entscheidet,

01:02:44.983 --> 01:02:47.383
es auf irgendeine Art und Weise nicht richtig zu machen.

01:02:48.763 --> 01:02:52.023
Und man ja oft genug auch gar nicht, also weil du weißt halt nicht notwendigerweise

01:02:52.023 --> 01:02:55.483
in der Entstehung von deinem Projekt, was sind denn jetzt die Teile,

01:02:55.543 --> 01:02:58.523
auf die es halt wirklich ankommt, da hinten raus. Weil es ja oft so ein.

01:03:00.663 --> 01:03:05.643
Nicht Engineering-Projekt, sondern mehr so eine Art Engineering plus Forschungsprojekt ist.

01:03:06.303 --> 01:03:11.123
Du baust das Ding, um es zu haben, aber auch, um halt eben beim Bau rauszufinden, wie man das baut.

01:03:11.283 --> 01:03:14.483
Das ist halt wie so ein Fusions- Der Prozess selbst ist halt auch wichtig.

01:03:14.723 --> 01:03:18.463
Du baust es auch einfach, baust auch den Prozess selbst. Manchmal.

01:03:18.703 --> 01:03:22.003
Für das siebte Admin-Dashboard wahrscheinlich nicht.

01:03:23.003 --> 01:03:26.623
Aber auch da wiederum die Frage, weißt du denn, dass es einfach nur das nächste

01:03:26.623 --> 01:03:30.003
Dashboard ist, das dann wieder verworfen wird? Oder ist das was anderes?

01:03:30.783 --> 01:03:32.243
Manchmal weiß man das, manchmal weiß man das halt nicht. Na gut,

01:03:32.383 --> 01:03:36.023
das ist so, wenn du früher irgendwie deinen Bootstrap ausgepackt hättest,

01:03:36.163 --> 01:03:38.743
dann ist das eben, kannst du das vielleicht heute mit KI machen.

01:03:41.024 --> 01:03:47.984
Möglicherweise. Weiß man halt alles noch nicht. Ist halt alles noch nicht so richtig ausgetüttelt.

01:03:48.904 --> 01:03:49.344
Möglicherweise.

01:03:50.384 --> 01:03:54.244
Ja, aber wenn, dann weiß ich halt, also kann ich in Zukunft dann einfach in

01:03:54.244 --> 01:03:59.604
meine Rumpelkammer gehen und das Mac Studio dann treten, wenn irgendwas mies gelaufen ist.

01:03:59.684 --> 01:04:03.244
Ich würde es nicht treten, weil ich nicht weiß, ob das nächste Mac Studio,

01:04:03.304 --> 01:04:05.384
das du dir kaufen willst, nochmal so günstig sein wird.

01:04:06.544 --> 01:04:11.004
Oder ob dann nicht vielleicht die ganzen Parameter sich durcheinander...

01:04:11.004 --> 01:04:13.484
Stimmt, die würfeln sich dann durcheinander da drin.

01:04:14.144 --> 01:04:18.624
Und eine Nase. Ihr scherzt, aber ich glaube, das ist tatsächlich gar keine so bescheuerte Idee.

01:04:19.764 --> 01:04:21.984
Weil ich meine, du trittst gegen den Computer, es kommt durcheinander,

01:04:22.084 --> 01:04:24.544
das passiert halt dann, wenn du irgendwie so dein Memory hast als irgendwie

01:04:24.544 --> 01:04:27.404
so ein Ringkernspeicher. Dann kann das ja tatsächlich passieren.

01:04:28.524 --> 01:04:31.344
Aber so eine andere Perspektive, die ich ja zum Beispiel auch ganz spannend

01:04:31.344 --> 01:04:34.404
finde, von wegen, wie kriegt man diesen Kram effizient und auch gerade bei den

01:04:34.404 --> 01:04:36.704
spezialisierten Sachen, die du da angesprochen hattest, Hans,

01:04:38.284 --> 01:04:42.324
dass man die dann irgendwann mal einfach mal in Silikon gießt dass das nicht

01:04:42.324 --> 01:04:47.744
irgendwelche ist so langsam am kommen aber ich glaube das wird halt gerade für so,

01:04:48.864 --> 01:04:52.644
also für so sehr spezialisierte Sachen für so Edge-Modelle kannst glaube ich

01:04:52.644 --> 01:04:56.444
da wirklich so die Betriebskosten in den Bereich des was wir halt heutzutage

01:04:56.444 --> 01:05:01.184
mit so einem Raspberry Pi haben wo das halt einfach so ein Non-Issue ist dass es das da reindrückt,

01:05:02.004 --> 01:05:04.424
aber da muss glaube ich auch noch ziemlich viel passieren bis das.

01:05:06.364 --> 01:05:09.244
Funktioniert, sich bewiesen hat und das braucht ja auch eine gewisse Art von,

01:05:10.124 --> 01:05:12.344
Skalierung, um dann seinerseits wirtschaftlich zu sein.

01:05:13.064 --> 01:05:15.244
Aber ich glaube, das wird noch ein spannendes Ding.

01:05:17.456 --> 01:05:22.416
Ja, da gab es noch so eine Firma, da kannst du quasi dir Silizium quasi auch

01:05:22.416 --> 01:05:28.736
für ein Modell bestellen und dann machen die dir die Chips und die sind dann auch wirklich schnell.

01:05:28.976 --> 01:05:33.076
Hast aber halt den Nachteil, ist ja immer so, wenn du jetzt,

01:05:33.196 --> 01:05:37.916
keine Ahnung, früher eine Videobeschleuniger-Karte hatte, die die MPEG-2 beschleunigen

01:05:37.916 --> 01:05:40.476
konnte, dann kommt ein MPEG-4 raus. Ja, kacke.

01:05:40.856 --> 01:05:44.816
Ist halt keine Hardware drin für. Aber deswegen dachte ich an den Edge-Use-Case.

01:05:44.896 --> 01:05:46.556
Das ist halt so ein Kram, das du ins Auto verbaust.

01:05:47.756 --> 01:05:51.836
Ein Auto muss nicht zwingend Over-the-Air-Software-Updates kriegen. Das kann es auch haben.

01:05:51.996 --> 01:05:54.816
Aber wenn es halt nur dafür geht, irgendwie eine Objekterkennung zu machen,

01:05:54.936 --> 01:05:57.456
irgendwie Straßenschilder-Erkennung zu machen, das brauchst du wahrscheinlich

01:05:57.456 --> 01:05:58.676
nicht allzu oft zu updaten.

01:06:00.936 --> 01:06:04.056
Ich weiß es nicht. Ich kann es dir nicht sagen. Ich habe aber das Gefühl bei

01:06:04.056 --> 01:06:09.016
den KI-Modellen, dass da auch einfach noch so, dass da so regelmäßig relativ

01:06:09.016 --> 01:06:12.616
viel Neues rauskommt, dass man das vielleicht nicht wollen würde.

01:06:12.776 --> 01:06:16.336
Aber bei den spezialisierten, Also wie ist das jetzt mit so Audiotranskription?

01:06:16.436 --> 01:06:19.456
Passiert da viel, wenn du jetzt einfach so Open Whisper antrittst?

01:06:23.315 --> 01:06:26.595
Da ist ja zum Beispiel von Mistral das Vox-Trial rausgekommen,

01:06:26.795 --> 01:06:29.535
was besser ist. Okay, aber inwiefern ist das besser?

01:06:30.135 --> 01:06:32.815
Also ich hab letztens irgendwie ziemlich viel, ich hab ja jetzt angefangen Videos

01:06:32.815 --> 01:06:35.895
zu machen und dann mach ich halt so Untertitel, klicke ich halt hier in meinem

01:06:35.895 --> 01:06:39.015
Caden Live auch auf irgendwie, hier generieren wir automatisch die Untertitel

01:06:39.015 --> 01:06:42.375
und dann korrigiere ich die alle, weil die natürlich alle, ist ja klar.

01:06:43.955 --> 01:06:47.135
Oder musst du das vielleicht nicht korrigieren in dem Fall. Weiß ich nicht,

01:06:47.295 --> 01:06:52.135
da sind halt so Sachen drin, die, ich bin ja kein Experte, was diesen ganzen Kram angeht.

01:06:52.435 --> 01:06:56.775
Ich rede hier von uns dreien, bin ich der Mensch, der am meisten einfach nur aus der Tüte redet.

01:06:57.295 --> 01:07:01.255
Das fühlt sich halt für mich dieses klassische Fadenverlieren-Ding an.

01:07:01.595 --> 01:07:05.495
Am Anfang versteht er halt irgendwie noch so, worüber ich rede und dass es irgendwie

01:07:05.495 --> 01:07:09.615
TypeScript ist und dann musst du das halt mit großem T und großem S machen und

01:07:09.615 --> 01:07:12.075
hinten raus, obwohl ich das genau nicht anders rede,

01:07:12.475 --> 01:07:16.315
beim Transkribieren vergisst er das halt eben und macht Type-Lehr-Script mit

01:07:16.315 --> 01:07:19.075
kleinem T und kleinem S draus. Wo ich mir so denke.

01:07:21.795 --> 01:07:25.655
Aber das ist Whisper dann im Hintergrund, oder was? Okay.

01:07:26.975 --> 01:07:29.515
Tja, das kann ich dir jetzt auch nicht sagen. Ich weiß nur, dass bei unseren

01:07:29.515 --> 01:07:33.235
Transkripten, die auch mit Whisper erzeugt werden, ja da gerne mal am Ende kommt

01:07:33.235 --> 01:07:37.655
irgendwie irgendwie hier Transkription,

01:07:38.895 --> 01:07:44.755
vom ZDF 2020 oder so, weil die das halt immer eingeblendet haben,

01:07:44.875 --> 01:07:49.895
wenn halt quasi am Ende stumm ist, also so nachdem der Film gelaufen ist,

01:07:50.475 --> 01:07:54.535
und dann nur noch Silence und dann kommt diese Einblendung und darum denkt halt

01:07:54.535 --> 01:07:57.015
Whisper, dass darauf trainiert wurde mit diesem Zeug,

01:07:57.575 --> 01:08:01.075
aha, wenn es am Ende dann ganz ruhig ist, dann muss ich das einblenden.

01:08:01.315 --> 01:08:07.075
Ganz genau das macht er. Du hast einfach die durchgehende Audiospur mit dem

01:08:07.075 --> 01:08:09.855
Hintergrundrauschen, dass du trotz Noisegate und so da ja immer zu einem gewissen

01:08:09.855 --> 01:08:12.355
Grad irgendwie drin hast, damit es sich halt nicht ganz tot anfühlt.

01:08:12.595 --> 01:08:16.335
Ist kein Problem, das erkennt der als Stille. Nur wenn du stille Stille hast,

01:08:16.675 --> 01:08:19.495
da ist überhaupt gar keine Audiospur drunter, dann fängt er halt eben an,

01:08:19.595 --> 01:08:20.675
sich Dinge zusammen zu fantasieren.

01:08:20.715 --> 01:08:23.655
Meistens halt so Sachen wie Like und Subscribe. Ist tatsächlich so.

01:08:24.974 --> 01:08:29.214
Like & Subscribe wäre ja okay bei uns. In Ordnung. Steht ja auch,

01:08:29.314 --> 01:08:32.554
wie ich gelernt habe, ganz unten auf unserer Webseite drauf.

01:08:35.020 --> 01:08:42.580
Ja, genau. Alright, ich fände es nochmal spannend von den Hörerinnen und Hörern

01:08:42.580 --> 01:08:44.740
so ein Stück weit zu verstehen,

01:08:44.740 --> 01:08:50.100
was machen die denn eigentlich so an ihren Homecomputern mit irgendwelchen Modellen?

01:08:50.800 --> 01:08:53.720
Habt ihr das schon mal irgendwie versucht, selber zu betreiben,

01:08:53.840 --> 01:08:56.580
so ähnlich wie der Chef? Habt ihr da vielleicht noch andere Erfahrungen gesammelt?

01:08:56.580 --> 01:08:58.160
Teilt es doch mal mit uns.

01:08:58.420 --> 01:09:03.540
Am besten in einem kleinen TikTok oder so. Nee, Spaß.

01:09:04.440 --> 01:09:08.040
Aber ihr werdet uns schon irgendwie auf diesen ganzen Social-Media-Kanälen,

01:09:08.120 --> 01:09:09.660
die wir noch betreiben, finden.

01:09:09.980 --> 01:09:13.960
Oder comments at workingdraft.de und dann könnt ihr doch einfach mal hier vorbeikommen

01:09:13.960 --> 01:09:15.260
und uns davon zu erzählen.

01:09:16.820 --> 01:09:22.220
Das wäre auf jeden Fall klasse. In unseren Shownotes in den Podcasts schon drin

01:09:22.220 --> 01:09:25.340
sind jetzt auch die Links zu den ganzen Chants.

01:09:27.180 --> 01:09:30.280
Wo man uns findet. Alright.

01:09:31.440 --> 01:09:37.300
Das war doch nett. Ein schöner Ausflug. Vielen Dank, Shep, dass du uns das näher gebracht hast.

01:09:38.400 --> 01:09:43.820
Definitiv währt sich auch mal selber anzuschauen, wie betreibt man eigentlich so ein Modell,

01:09:44.500 --> 01:09:48.780
weil wenn dann mal alles am Ende des Jahres irgendwie doch zusammengebrochen

01:09:48.780 --> 01:09:53.620
ist, dann haben wir wenigstens noch unsere alten Modelle, die wir selber betreiben können.

01:09:54.120 --> 01:09:59.760
Ja, dann könnt ihr alle hier bei mir euch zusammenrotten mit euren Laptops und euch da dran klinken.

01:09:59.960 --> 01:10:04.080
Du nimmst dann für den für die tausend Tokens nimmst du dann auch mal einen Fünfer.

01:10:05.340 --> 01:10:10.320
Ja, das muss schon sein. Genau. Ist halt dann sequenzielle Abarbeitung.

01:10:11.480 --> 01:10:13.920
Ja, genau. Batch Processing, wie wir das früher beim Mainframe hatten.

01:10:14.100 --> 01:10:18.020
Nur mit dem Unterschied, dass natürlich der Mac natürlich durch die intensive

01:10:18.020 --> 01:10:20.920
Nutzung auch genug Wärme erzeugt, sodass es uns auch völlig egal ist,

01:10:20.980 --> 01:10:22.460
dass wir hier kein Gas und kein Diesel mehr haben.

01:10:22.920 --> 01:10:25.600
Das kommt alles wunderbar zusammen. Dann können wir uns um den rumsetzen und

01:10:25.600 --> 01:10:28.180
uns an ihm wärmen. Ja, wir müssen halt nur zu Shep hinradeln,

01:10:28.260 --> 01:10:29.760
aber Hans, ich glaube, wir zwei kriegen das hin.

01:10:30.744 --> 01:10:35.424
Ähm, da haben wir Glück, ne? Wenn man so ein bisschen ab und zu trainiert ist.

01:10:35.524 --> 01:10:39.004
Und für mich ist die Strecke ja nur, also... Ein Katzensprung.

01:10:39.204 --> 01:10:42.324
Ein Katzensprung. Das hängt ja unter 300 Kilometern gar nicht an.

01:10:43.024 --> 01:10:46.704
Ja, aber ich bin ja von meiner ganzen Körperform her sowieso mehr so der Langstreckenkämpfer

01:10:46.704 --> 01:10:49.824
und nicht so sehr der Sprinter. Von daher klappt das schon. Okay.

01:10:50.584 --> 01:10:54.924
Super. Sehr gut. Und ich bin froh, dass ich gar nicht zu irgendwem hinradeln

01:10:54.924 --> 01:10:58.464
muss, weil, genau, ich finde Radeln so ganz nett.

01:10:58.644 --> 01:11:01.704
Ich weiß noch, bei der Bion Tellerrand letztes Jahr der war dann so,

01:11:02.384 --> 01:11:05.524
komm, hinterher machen wir noch so Fahrradfahren, wer alles Bock hat,

01:11:05.664 --> 01:11:08.484
wir radeln durch die Gegend. Dachte ich, ah, cool, mach ich mit.

01:11:09.204 --> 01:11:13.284
Hab ja auch ein E-Bike, ne? Bin ich gerüstet. Und dann, was kam raus?

01:11:13.584 --> 01:11:16.104
Was war das für eine Tour, Hans, die ihr gemacht habt? Wie viele Kilometer?

01:11:16.624 --> 01:11:20.824
Also ich hatte am Ende über 200 auf jeden Fall auf der Tour, auf der Uhr.

01:11:21.884 --> 01:11:27.704
Genau. Ich wollte da, aber ich genau, bin nach Düsseldorf und dann sind wir

01:11:27.704 --> 01:11:30.904
mit dem Zug und dann sind wir von da losgefahren.

01:11:31.724 --> 01:11:36.804
Nach Holland. Nach Holland, genau. Und haben da irgendwie ein Mittagspäuschen gemacht.

01:11:37.764 --> 01:11:40.984
Und ja, dann war es irgendwie so spät geworden. Ich hatte mit einem anderen

01:11:40.984 --> 01:11:43.744
Schnitt gerechnet und einer kürzeren Pause.

01:11:44.144 --> 01:11:48.704
Und dann war das eh nicht mehr notwendig, dass ich am Abend zu Hause bin.

01:11:48.824 --> 01:11:51.164
Und dann war es noch lang hell. Und dann habe ich gedacht, ach komm,

01:11:51.204 --> 01:11:52.484
fährst du auch noch bis Köln heim.

01:11:53.524 --> 01:11:58.524
Ja, aber grundsätzlich war das dann doch schon eher länger. Ja,

01:11:58.784 --> 01:12:03.784
also da kann ich jeden verstehen, der sagt so, auf so einen Mittwochabend ist

01:12:03.784 --> 01:12:07.244
das jetzt oder Mittwochnachmittag ist das jetzt nicht so die Tour, die ich plane.

01:12:08.084 --> 01:12:10.504
Ja, ja, da wäre noch wer anders, der sich auch so gedacht hat,

01:12:10.564 --> 01:12:13.544
ich fahre mit beim Hollandrad da mit. Naja, nee, nee.

01:12:14.844 --> 01:12:18.804
Ja, das E-Bike schafft eh nur 25 kmh, da wäre ich auch dann voll die Bremse

01:12:18.804 --> 01:12:21.524
gewesen und nach 50 Kilometern wäre der Akku leer gewesen. Nee, nee.

01:12:22.786 --> 01:12:26.546
Ja, aber das kann man ja auch durchaus mal planen. Also vielleicht machen wir

01:12:26.546 --> 01:12:33.706
mal eine Working Draft Paratour, wo wir dann jede Person natürlich mitnehmen

01:12:33.706 --> 01:12:37.206
und da auch einen gesunden Schnitt für alle anpeilen.

01:12:37.506 --> 01:12:40.286
Den Rhein runter, die Donau entlang. Ja.

01:12:41.346 --> 01:12:45.366
Hallihallo, hier ist nochmal der Shep. Ich wollte Werbung machen für ein weiteres

01:12:45.366 --> 01:12:49.546
Event und zwar eines, das sehr bald stattfindet, nämlich den Accessibility Club

01:12:49.546 --> 01:12:54.926
Summit 2026, der am Wochenende, den 9. und 10.

01:12:55.106 --> 01:12:59.346
Mai in Würzburg, an der Technischen Hochschule, stattfindet.

01:13:00.106 --> 01:13:06.006
Organisiert wird der, wie gehabt, von Yoshi Kufall und Team sowie der Uni selbst.

01:13:06.766 --> 01:13:09.866
Und ich war letztes Jahr da, war sehr, sehr cool.

01:13:10.126 --> 01:13:13.386
Das Ganze funktioniert so, dass der erste Tag, also der Samstag,

01:13:13.626 --> 01:13:16.426
ist ein Barcamp oder sagen wir mal ein Hybrid-Tag.

01:13:16.646 --> 01:13:22.486
Es gibt einen vorgeplanten, kuratierten Konferenz-Track und da gibt es noch

01:13:22.486 --> 01:13:25.986
zwei weitere, glaube ich, Tracks, die so Barcamp-Charakter haben.

01:13:26.486 --> 01:13:31.106
Man kann nur zu diesem Tag gehen oder man geht zu dem Tag am Sonntag.

01:13:31.246 --> 01:13:32.686
Der ist ein Workshop-Tag.

01:13:32.866 --> 01:13:37.186
Da werden allerlei Workshops angeboten. Ich hatte letztes Mal einen zu ADHS

01:13:37.186 --> 01:13:41.226
und Autismus gehabt und das war super, super interessant,

01:13:41.586 --> 01:13:46.726
weil es eben abseits des üblichen ist, also nicht immer nur blind und taub und

01:13:46.726 --> 01:13:50.066
so, sondern solche Geschichten, also Neurodivergenz.

01:13:51.017 --> 01:13:54.057
Das gibt es diesmal nicht, dafür gibt es aber viele andere coole Workshops und

01:13:54.057 --> 01:13:59.997
sowohl das Barcamp oder die Konferenz als auch die Workshops sind mega günstig.

01:14:00.277 --> 01:14:06.417
Also ein Ticket kostet, glaube ich, mindestens genau 25 Euro und die Workshops,

01:14:06.417 --> 01:14:11.417
die starten bei auch 25 Euro für einen halben Tag Workshop oder eben 50 für

01:14:11.417 --> 01:14:13.417
einen ganzen Tag und man kann auch mehr geben.

01:14:14.317 --> 01:14:19.097
Mir hat es super gefallen. Wenn ihr nicht könnt, dann könnt ihr das Ganze euch

01:14:19.097 --> 01:14:21.657
auch zumindest den ersten Tag gestreamt angucken.

01:14:21.997 --> 01:14:27.617
Das ist der Hauptraum, in dem also die vorgeplanten Talks, die jetzt schon feststehen,

01:14:27.757 --> 01:14:28.997
stattfinden. Der wird gestreamt.

01:14:29.477 --> 01:14:34.677
Und wer unser Aria-Glücksrat hört, der kennt auch einen der Sprecher.

01:14:34.837 --> 01:14:35.697
Das ist nämlich der Pavel.

01:14:36.517 --> 01:14:40.757
Also ich werde da sein. Vielleicht versteckt es euch auch dahin. Wäre cool.

01:14:41.177 --> 01:14:44.797
Und dann haut euch gerne an. Bis dann. Tschüss.