NPU

Die Nutzung der folgenden Knoten ist nur in Kombination mit einer VIU2 möglich.

Classify Image (NPU)

Mit dem Knoten „Classify Image“ (NPU) wird ein Bildklassifizierungsmodell direkt auf einer neuronalen Verarbeitungseinheit (NPU) ausgeführt. Die NPU analysiert ein Eingabebild und ordnet es einer vordefinierten Klasse zu. Die Hardwarebeschleunigung auf der NPU ermöglicht besonders schnelle und energieeffiziente Inferenz und ist daher ideal für mobile Geräte, Edge-Systeme und eingebettete Anwendungen.

Flow

Parameterset

Attribut	Typ	Beschreibung
Classification Component	NPU Yolo Classification	Benötigt den Get-Knoten der NPU Yolo Classifcation Komponente.
Images	Image <Array>	Erwartet werden ein oder mehrere Bilder.
Classes	String <Array>	Alle Klassen (sortiert nach Confidence) die als mögliche Klassen infrage kommen.
Messages	String <Array>	Ein Array mit Meldungen, die das Ergebnis der Auswertung jedes Eingabebildes beschreiben.
Raw Results	Inference Classification Result <Array>	Beinhaltet alle Klassen (sortiert nach Confidence), die als mögliche Klassen infrage kommen, die entsprechenden Confidence Werte, das vorverarbeitete und nachverarbeitete Bild, sowie ob und als was das Bild klassifiziert wurde.

Detect Objects (NPU)

Der Knoten „Detect Objects“ (NPU) nutzt die NPU, um mehrere Objekte in einem Bild zu erkennen und deren Positionen (Begrenzungsrahmen) zu bestimmen. Zusätzlich zur Klassenzuordnung liefert das Modell auch die Koordinaten der erkannten Objekte. Bei NPUs ist es wichtig, optimierte Modelle (z. B. kleine YOLO-Varianten) zu verwenden und die Nachbearbeitung, wie z. B. die Nichtmaximumunterdrückung (NMS), korrekt zu konfigurieren.

Flow

Parameterset

Attribut	Typ	Beschreibung
Detection Component	NPU Yolo Detection	Benötigt den Get-Knoten der NPU Yolo Detection Komponente.
Images	Image <Array>	Erwartet werden ein oder mehrere Bilder.
Object Names	String <Array>	Listet die Namen der erkannten Objekte auf.
Messages	String <Array>	Ein Array mit Meldungen, die das Ergebnis der Auswertung jedes Eingabebildes beschreiben.
Raw Results	Inference Detection Result <Array>	Beinhaltet neben einem Array an erkannten Objekten auch das vor- sowie das nachverarbeitete Bild, eine Information darüber, wie viele Objekte erkannt sowie ob überhaupt Objekte gefunden wurden.

Segment Instances (NPU)

Der Knoten „Segment Instances (NPU)” erweitert die Objekterkennung, indem er für jedes erkannte Objekt eine pixelgenaue Maske generiert. Dadurch wird nicht nur identifiziert, was sich im Bild befindet und wo, sondern auch präzise, welche Pixel zum Objekt gehören. Da diese Aufgabe rechenintensiver ist, müssen auf NPUs häufig leichtere Modelle verwendet und die Ausgaben anschließend weiterverarbeitet werden (z. B. Glättung oder Skalierung der Masken).

Flow

Parameterset

Attribut	Typ	Beschreibung
Segmentation Component	NPU Yolo Segmentation	Benötigt den Get-Knoten der NPU Yolo Segmetnation Komponente.
Images	Image <Array>	Erwartet werden ein oder mehrere Bilder.
Object Names	String <Array>	Listet die Namen der erkannten Objekte auf.
Messages	String <Array>	Ein Array mit Meldungen, die das Ergebnis der Auswertung jedes Eingabebildes beschreiben.
Raw Results	Inference Segmentation Result <Array>	Beinhaltet eine Auflistung von Segmentation Objects sowie das vor- und nachverarbeitete Bild. Zusätzlich wird eine Information darüber, wie viele Objekte erkannt und ob überhaupt Objekte gefunden wurden, zurückgegeben.