Bildanalyse und 3D-Modelle
Die Informationen, die durch hochmoderne KI-Methoden aus Bildern gewonnen werden, bieten die Grundlage für eine telemedizinische Betreuung im Rahmen der HybridVITA-Studie
Bildanalyse
Im Rahmen des Projekts HybridVITA hat HS Analysis GmbH (HSA) eine innovative API zur Bildanalyse entwickelt, die detaillierte Daten zur Bewertung von Hauterkrankungen, insbesondere Psoriasis (Schuppenflechte), liefert. Diese API ermöglicht es, hochgeladene Bilder umfassend auszuwerten und stellt die folgenden Informationen bereit:
-
Konturen der Hautbereiche: Die API erkennt und markiert präzise die Hautbereiche im Bild.
-
Konturen der Plaques: Die durch Psoriasis verursachten Plaques werden exakt identifiziert und markiert.
-
Teil PASI Score Werte: Für jedes Bild werden wichtige Parameter berechnet, die zur Beurteilung des Schweregrades der Psoriasis verwendet werden:
-
Grad der Dicke
-
Scaling Grad
-
Grad der Rötung
-
Score für die betroffene Fläche
Für die Detektion der Konturen kommen jeweils spezielle Segmentierungsmodelle zum Einsatz. Für die Bestimmung von Dicke, Scaling und Rötung werden spezifische Klassifikationsmodelle verwendet. Insgesamt werden somit fünf Modelle eingesetzt, was die bedeutende Rolle der Künstlichen Intelligenz (AI) in diesem Prozess unterstreicht. Wenn ein spezifischer Aruco Marker im Bild erkannt wird, werden zusätzlich die realen Größen der betroffenen Flächen ausgegeben.
Diese von der HS Analysis GmbH (HSA) entwickelte Bildanalyse-API bietet eine präzise und umfassende Möglichkeit zur Überwachung und Bewertung des Krankheitsverlaufs, was sowohl für Patienten als auch für Ärzte einen erheblichen Mehrwert darstellt.
3D-Modelle
HS Analysis GmbH (HSA) hat einen weiteren Endpoint entwickelt, der einzelne Bilder in 3D-Modelle umwandeln kann. Für das Projekt HybridVITA ist dies besonders wichtig, da Bilder von Plaques in 3D-Modelle umgewandelt werden können, um insbesondere die Dicke der Plaques besser zu visualisieren. Diese 3D-Modelle ermöglichen auch eine haptische Interaktion, die vom Projektpartner FZI realisiert wird.
Für die Generierung der 3D-Modelle wird ebenfalls Künstliche Intelligenz (AI) im Hintergrund verwendet, was eine präzise und realistische Darstellung der Hautveränderungen ermöglicht.
ArUco Marker und Farbkorrektur
Die HS Analysis GmbH (HSA) hat spezielle ArUco Marker mit einer integrierten Farbpalette entwickelt. Diese Marker können als Sticker auf die Haut aufgebracht werden, um die Qualität der erzeugten Bilddaten zu verbessern. Sie dienen zwei Hauptzwecken:
-
Bestimmung der realen Größen: Die Marker ermöglichen es, die realen Größen der betroffenen Hautbereiche auf den Bildern präzise zu bestimmen.
-
Farbausgleich: Durch die speziell auf Hautfarben abgestimmte Farbpalette kann ein Farbausgleich durchgeführt werden. Dies ist besonders nützlich bei Bildern, die unter suboptimalen Lichtverhältnissen aufgenommen wurden. Der Farbausgleich sorgt dafür, dass die Farben so angepasst werden, als ob sie unter besseren Lichtbedingungen aufgenommen worden wären.
Dieser Farbausgleich ist für das Projekt HybridVITA besonders wichtig, da er eine genauere Bestimmung des Grades der Rötung ermöglicht.
Originalbild und Bild mit Farbausgleich – Beispiel 1
Originalbild und Bild mit Farbausgleich – Beispiel 2
Originalbild und Bild mit Farbausgleich – Beispiel 3