Wie kann man Large Language Models (LLMs) dazu bewegen mit einem persönlichen Stil bzw. auf eine bestimmte Art und Weise zu antworten? Prompt Engineering heißt häufig das Zauberwort. Aber manchmal stößt man mit Prompt Engineering an die Grenzen des Machbaren, bspw. weil man keine vertraulichen Daten herausgeben möchte. Wie kann man an dieser Stelle weitermachen?

Um ein LLM stärker zu beeinflussen, kann man ein sogenanntes Finetuning eines lokalen Open-Source-LLMs durchführen. Beim Finetuning verändert man nicht den Prompt, den man an das LLM / die KI übergibt, sondern das KI-Modell selbst. Das geht allerdings nur, wenn man das KI-Modell lokal zur Verfügung hat.
In diesem Workshop stellen wir Anwendungszwecke und etablierte Finetuning-Methoden vor. Anschließend werden wir mit den Teilnehmenden individuelle Datensätze erstellen und mittels einer Methode ein Finetuning durchführen. Wir werden ebenfalls darauf eingehen welche Ressourcen benötigt werden und wo man diese erhalten kann.

Ein Laptop sowie ein Zugang zu Google Colab sind zum Mitmachen erforderlich. Im Idealfall bringen die Teilnehmende auch ein Themengebiet mit, bei dem Sie mit bisherigen LLM-Antworten unzufrieden waren, wie bspw. eine persönlichere Note bei Antworten auf E-Mails.

Der Workshop erfolgt im Rahmen der Konferenz Communities & Technologies 2025. Die Teilnahme an den Workshops vom EDIH Südwestfalen ist kostenfrei und erfordert lediglich eine Anmeldung über diese Website. Für die Teilnahme an weiteren Programmpunkten der Konferenz ist eine separate, kostenpflichtige Anmeldung bei der Konferenz erforderlich.