P29 - Effekte der Quantisierung auf RAG Language Modelle für Parkinson
- Event
- iCCC2026 - iCampus Cottbus Conference
2026-05-05 - 2026-05-07
Cottbus - Band
- Poster
- Chapter
- Gesundheit & Sport
- Author(s)
- P. Gaudl, C. -A. Holst, V. Lohweg - Technische Hochschule Ostwestfalen-Lippe, Lemgo
- Pages
- 235 - 238
- DOI
- 10.5162/iCCC2026/P29
- ISBN
- 978-3-910600-10-2
- Price
- free
Abstract
Large Language Models bieten großes Potenzial für assistive Anwendungen in der Parkinsonversorgung, sind jedoch aufgrund ihres hohen Speicherbedarfs bislang schwer in der Praxis einsetzbar. Dieser Beitrag untersucht den Einfluss verschiedener Quantisierungsmethoden auf ein Retrieval-Augmented-Generation-System auf Basis eines Qwen-Modells. Die Ergebnisse zeigen, dass sich der Speicherbedarf auf bis zu 36 % reduzieren lässt, bei leichter bis moderater Beeinträchtigung der Antwortqualität. Die Ergebnisse demonstrieren, dass lokal ausführbare Parkinson-Assistenzsysteme technisch realisierbar sind.