Fachbericht zur Fuzzy Bildanalyse

VISION Yearbook 1998

Dr. Rudolf Felix

Einleitung

Die Automatisierung von visuellen Auswertungen der Ergebnisse von Verarbeitungsschritten in Produktionsprozessen erfordert den Einsatz adäquater Bildanalysesalgorithmen, die einerseits in der Lage sind, qualitative Merkmale wie z. B. das Vorhandensein von Störungen in Prüfobjekten zu erkennen. Andererseits sind Verfahren notwendig, die strukturelle Eigenschaften, wie z. B. die Zuordnung von Prüfobjekten, ihre Präsenz oder ihre Position analysieren. Aufgrund der ständig variierenden Qualitätsanforderungen setzt die Automatisierung der Qualitätsüberprüfung eine flexible Eingabe von Referenzbildern und Merkmalen, auf die die Prüflinge zu untersuchen sind, voraus. Grundlage der in diesem Papier dargestellten Ansätze sind spezielle Fuzzy Verfahren, die eine hohe Effizienz der Bildanalysen sichern.

Qualitative Fuzzy Bildanalyse

Optisch erfaßte Informationen werden im Bereich der Qualitätskontrolle, z. B. bei der Analyse von Materialeigenschaften wie Schweißnähten oder Klebstellen, in der Regel in qualitativer Form ausgewertet. Der Begriff qualitativ bedeutet, daß Bildinformationen, wie Dichteverteilungen, Graustufenübergänge, Kontrastverschiebungen bzw. -abweichungen oder Anhäufungen von Störstellen ausgewertet werden, wobei die genaue Form und die Lage der einzelnen Merkmale der Bildinformation wegen der ständigen Veränderungen von Prüfling zu Prüfling als Unterscheidungskriterien kaum heranzuziehen sind. So ist etwa bei der Untersuchung von Materialien auf Risse nicht die genaue Lage der Risse, sondern ihr Vorhandensein im zu untersuchenden Bereich sowie die relative Größe ihrer Ausprägung von Bedeutung.

Bei vergleichbaren Aufgabenstellungen versuchen konventionelle Verfahren, detaillierte Informationen über Lage, Anzahl und Größe von Störungen selbst dann abzuleiten, wenn diese Informationen in ihrer Qualität nicht interessieren und anschließend durch Generalisierung oder Abstraktion in qualitative Aussagen umgewandelt werden. Methoden der qualitativen Fuzzy Bildanalyse werten von vornherein nur die tatsächlich benötigten qualitativen Informationen aus und sind deshalb in der Lage, mit hinreichender Genauigkeit wesentlich effizienter zu arbeiten. Abbildung 1 zeigt das Beispiel einer Untersuchung von Öberflächenbeschaffenheiten mit Hilfe der qualitativen Fuzzy Bildanalyse.

Wie das Wissen über die Zielgegenläufigkeiten und Zielgleichläufigkeiten zur Entscheidungsfindung verwendet wird, ist für jedes Zielpaar in sogenannten lokalen Entscheidungsstrategien festgehalten. Für jede Art der Beziehung zwischen zwei Zielen ist eine Entscheidungsstrategie definiert.
Für die Konkurrenz als Beispiel einer typischen gegenläufigen Beziehung zwischen zwei Zielen Z1 und Z2 kann die folgende Entscheidungsstrategie aufgestellt werden: Wenn Z1 und Z2 konkurrieren und der Grad der Konkurrenz hoch ist und Z1 wichtiger ist als Z2, dann betrachte diejenigen Entscheidungsalternativen als lokale Entscheidung, die Z1 unterstützen.

Die Bezeichnung lokal bringt zum Ausdruck, dass die vorgeschlagenen Entscheidungsalternativen zunächst nur aus der Sicht der beiden Ziele Z1 und Z2 getroffen worden sind. Die lokalen Entscheidungsalternativen bilden für jedes Zielpaar die sogenannte lokalen Entscheidungsmenge. Um eine globale, d.h. aus der Sicht aller beteiligten Ziele getroffene, Entscheidung zu ermitteln, werden alle lokale Entscheidungsmengen mit Hilfe eines weiteren Fuzzy- Verfahrens, der sogenannten sukzessiven Schnittmengenbildung auf eine möglichst gute Überdeckung untereinander überprüft.
Bei der Ermittlung der denkbaren Überdeckungen der Ziele werden Zielprioritäten als steuernde Zusatzinformation verwendet. Es wird diejenige Überdeckung mehrerer lokaler Entscheidungsmengen ermittelt, die möglichst vielen Zielen mit möglichst hohen Prioritäten genügt. Im letzten Schritt der Entscheidungsfindung wird, falls gewünscht, aus der globalen Entscheidungsmenge genau eine Entscheidungsalternative ausgewählt, zum Beispiel indem eine Entscheidungsalternative mit höchster Fuzzy-Zugehörigkeit zur globalen Entscheidungsmenge ermittelt wird.


Abb. 1: Qualitative Fuzzy Bildanalyse mit FuzzyImageDesk in der Qualitätssicherung.

Strukturelle Fuzzy Bildanalyse

Die Automation von industriellen Produktionsprozessen ist durch den zunehmenden Einsatz von Bestückungs-, Plazierungs-, Positionierungs- und Sortierautomaten gekennzeichnet. Die Fähigkeit, die Arbeitsweise derartiger Systeme effizient, gegebenenfalls in Echtzeit, zu steuern, zu überwachen und Korrekturoperationen oder flexible Anpassungen durchzuführen, bietet zusätzlich hohe Automatisierungs- und damit Kostensenkungspotentiale. Dabei kommt es insbesondere darauf an, strukturelle Bildinformation geeignet auszuwerten. Der Begriff strukturell bedeutet dabei das Erkennen, Analysieren und Verarbeiten von Bildinformationen, die in ihrer räumlichen Anordnung Rückschlüsse auf Formen und Werkstücksarten sowie auf die Lage von Werkstücken erlauben. Zum Beispiel erlaubt eine effiziente Analyse von Werkstückskonturen die Ableitung von Steuerungsbefehlen, welche die Manipulation des Werkstückes, z. B. zwecks Bestückung einer Folgebearbeitungsstation, bestimmen. Gegenwärtig werden solche Aufgaben vielfach durch den Einsatz kostenintensiver Sensorik oder durch Mitarbeiter wahrgenommen. Beispiele von Systemen, die strukturell auszuwertende Bildinformationen verarbeiten, sind:

  • Werkstückerkennungssysteme

  • Präsenzanalysessysteme

  • Positionierungssysteme

  • Sortierautomaten

  • Kennzeichnungsidentifikation

Die Kennzeichenidentifikation kann anhand eines Systems zur Zeichenerkennung verdeutlicht werden. Die in Abbildung 2 dargestellte Anwendung der strukturellen Fuzzy Bildanalyse zeigt, wie strukturelle Ähnlichkeiten von Ziffern ausgewertet werden.


Abb. 2: Strukturelle Fuzzy Bildanalyse mit FuzzyImageDesk in der Zeichenerkennung.

Bildanalyseverfahren

Diese entwickelten Verfahren zur qualitativen Bildanalyse sind durch eine hohe Flexibilität und Problemunabhängigkeit gekennzeichnet. Diese sind insbesondere auf flexible Anpaßbarkeit (Training) der Verfahren auf unterschiedliche Bildanalyseaufgaben, die problemunabhängige Merkmalsextraktion sowie die anschließende, ebenfalls problemunabhängige Auswertung der Merkmale zurückzuführen. Das Anpassen (Trainieren) der Verfahren auf neue Bildanalyseaufgaben besteht im wesentlichen durch die Bekanntgabe neuer Referenzbilder. Die Bekanntgabe erfolgt, indem die Referenzbilder aufgenommen, digitalisiert und als Muster abgespeichert werden. Die Wahl der Art und der Anzahl der Referenzbilder ist durch die jeweilige Bildanalyseaufgabe und durch die Anzahl der vorhandenen unterschiedlichen Fälle abhängig, die bei den durchzuführenden Qualitätstests vorkommen. Abbildung 3 zeigt ein Fuzzy System zur Qualitätskontrolle von Filterdeckeln mit Referenzbildern von Gut-Teilen und von Schlecht-Teilen, das bei der Firma Hengst Filterwerke in Münster eingesetzt wird.


Abb. 3: Strukturelle Fuzzy Bildanalyse mit FuzzyImageDesk in der Qualitätskontrolle

Mit der von der FLS Fuzzy Logik Systeme GmbH in Zusammenarbeit mit dem Fuzzy Demonstrations-Zentrum Dortmund im Informatik Centrum Dortmund ICD e.V. entwickelten Fuzzy-On-line-Lagekontrolle steht nun ein Verfahren zur Verfügung, das die verschiedensten Fehlermöglichkeiten der Stapelung nach der Befüllung der Trays erkennt, bewertet und gegebenenfalls die nachzubearbeitenden Dokumentenstapel in den Trays aus dem Prozeß führt. Von Hand neu auszurichtende Stapel können, ebenso wie verschlissenen Trays, nun nicht mehr den Betriebsablauf stören, da sie ausgeschleust werden. Die automatische Ausschleusung wurde über die direkte Kommunikation des On-Line-Systems mit der speicherprogrammierbaren Steuerung (SPS) der Förderanlage realisiert.

Obwohl der Prozeß durch hohe Echtzeitanforderungen gekennzeichnet ist, stellt die Fuzzy Software, eine Erkennungsqualität sicher, die trotz der Hochgeschwindigkeitserkennung der Qualität menschlicher Entscheidungen gleichkommt.

Problemunabhängige Merkmalsextraktion und Auswertung

Die Problemunabhängigkeit der Merkmalsextraktion ist durch die Verwendung der sogenannten Sektorisierung gesichert. Bei der Sektorisierung wird jedes Referenzbild und jedes zu analysierende Bild in gleichmäßig gewählte Ausschnitte (Sektoren) zerlegt. Für jeden der Sektoren werden anschließend ein zugehöriger durchschnittlicher Grauwert sowie Grauwertübergänge ermittelt. Die auf diese Weise gewonnenen Grauwertmerkmale von Referenz- und Testbildern werden mit Hilfe unscharfer Ähnlichkeitsbegriffe verglichen. Die Wahl der Größe (und damit auch der Anzahl) der Sektoren bestimmt die Tatsache, ob eine vorliegende Bildanalyse eher einen qualitativen oder strukturellen Charakter hat. Je feiner die Sektorisierung desto stärker der strukturelle Charakter der Bildanalyse. Je gröber die Sektorisierung, desto stärker der qualitative Charakter der vorliegenden Bildanalyse. Die Durchführung der Vergleiche kann sowohl regelbasiert als auch mit Hilfe der Fuzzy-Ähnlichkeitsbegriffe erfolgen. Beide Ansätze haben ihre Praxisreife bewiesen und liegen in Form von Softwaretools vor. Die bisher skizzierten Anwendungen der Oberflächenanalyse sowie der Klarschriftlesung sind mit Hilfe von Fuzzy Ähnlichkeitsrelationen gelöst worden, wobei die Tools FuzzyImageDesk und FuzzyDecisionDesk-Relation eingesetzt wurden. Die nachfolgend dargestellte Anwendung, der echtzeitfähigen Lagekontrolle von beliebigen Dokumenten in Kartons bei der Kommissionierung im Versandlager der Firma Datev e.G. in Nürnberg, basiert dagegen auf dem regelbasierten Ansatz und wurde mit Hilfe des Tools FuzzyDecisionDesk-Image gelöst.

Strukturelle Bildverarbeitung in der Kommissioniertechnik

Die Versandabteilung der Firma Datev e.V. stand vor der Situation, häufig mehrere voneinander unabhängige Dokumente an denselben Adressaten senden zu müssen. Normalerweise wird so verfahren, daß alle Sendungen parallel versandt werden und der Empfänger deshalb mehrere Briefe oder Pakete an einem Tag gleichzeitig erhält. Um aus Kostengründen derartige Mehrfachsendungen zu vermeiden, werden mehrere unabhängige Sendungen in einem Verpackungskarton (Tray) per Handhabungstechnik kommissioniert, über fördertechnische Einrichtungen transportiert und zur Versendung gebracht. Die aus Pappe hergestellten Behälter haben jedoch die Eigenschaft, durch den Gebrauch im Lauf der Zeit deformiert zu werden und dadurch unterschiedliche Maße sowie Formen zu besitzen. Sie sind zudem um einiges größer als das Transportgut selbst, damit eine problemlose Befüllung sichergestellt werden kann. Bei der Automatisierung logistischer Prozesse führt das dazu, daß die Tray-Positionen im Transportverlauf mit größeren Toleranzen auftreten, gestapelte Dokumente sich verschieben und verschobenen Dokumente beschädigt werden können. Blätter schauen hervor (siehe Abbildung 4), werden unter Umständen geknickt und verdecken vielleicht sogar den Dokumenten-Barcode auf dem Adreßblatt.


Abb. 4: Strukturelle Fuzzy Bildanalyse mit FuzzyDecisonDesk-Image in der Qualitätskontrolle

Mit der von der FLS Fuzzy Logik Systeme GmbH in Zusammenarbeit mit dem Fuzzy Demonstrations-Zentrum Dortmund im Informatik Centrum Dortmund ICD e.V. entwickelten Fuzzy-On-line-Lagekontrolle steht nun ein Verfahren zur Verfügung, das die verschiedensten Fehlermöglichkeiten der Stapelung nach der Befüllung der Trays erkennt, bewertet und gegebenenfalls die nachzubearbeitenden Dokumentenstapel in den Trays aus dem Prozeß führt. Von Hand neu auszurichtende Stapel können, ebenso wie verschlissenen Trays, nun nicht mehr den Betriebsablauf stören, da sie ausgeschleust werden. Die automatische Ausschleusung wurde über die direkte Kommunikation des On-Line-Systems mit der speicherprogrammierbaren Steuerung (SPS) der Förderanlage realisiert.

Obwohl der Prozeß durch hohe Echtzeitanforderungen gekennzeichnet ist, stellt die Fuzzy Software, eine Erkennungsqualität sicher, die trotz der Hochgeschwindigkeitserkennung der Qualität menschlicher Entscheidungen gleichkommt.

Zusammenfassung

Es wurden die qualitative und strukturelle Bildanalyse gegeneinander abgegrenzt. Die vorgestellte Sektorisierung bietet die Möglichkeit, qualitatives und strukturelles Vorgehen bei variierenden Aufgabenstellungen adäquat zu gewichten. Die Verwendung von Fuzzy Ähnlichkeitsbegriffen erlaubt hierbei eine sehr effiziente Vorgehensweise. Die Sektorisierung, die je nach Granularität der Sektoren stärker den qualitativen oder den strukturellen Charakter der durchzuführenden Analysen betont, führt zu einem Verfahren, dessen besonderes Potential im Bereich der Echtzeitbildanalyse und -klassifikation liegt. Beispiele erfolgreicher Anwendungen belegen die Leistungsfähigkeit des Verfahrens. Der regelbasierte Ansatz ist ebenfalls einsatzfähig, wobei auch ein geeignetes Tool vorliegt. Der regelbasierte Ansatz ist dann besonders empfehlenswert, wenn zusätzliche charakteristische Eigenschaften von Bildern bekannt sind. Diese zusätzlichen Eigenschaften können regelbasiert besonders einfach nachträglich in bestehenden Lösungen integriert werden.

Literatur

[Szan93] G. Szanto: New Developments in the Machine Vision Industry from the 1993 Hannover Messe Trade Fair, Szanto Systems, Report MVR93/2, Zeist Netherlands, May 1993..
[FeRe93] R. Felix, S. Reddig: Qualitative Pattern Analysis for Industrial Quality Assurance, Proceedings of the 2nd. International Conference on Fuzzy Systems, San Francisco, 1993.
[Jaeh91] B. Jähne: Digitale Bildverarbeitung, Springer Verlag Ber1in, 1991.
[Jaeh91] R-J. Ahlers, H. J. Warnecke: Industrielle Bildverarbeitung, Addison-Wessley Verlag, 1991.
[BaBe91] H. Bässmann, Ph. W. Besslich: Bildverarbeitung Ad Oculos, Springer Verlag, 1991.
[Jahr96] Hrsg. A. Grütz: jahrbuch der elektronik '96, band 15 VDE Verlag, 1996.
[FLS96] Handbuch zum Softwaretool FuzzyImageDesk Version 2.0, FLS Fuzzy Logik Systeme GmbH, Dortmund
[FLS97a] Handbuch zum Softwaretool FuzzyDecisonDesk-Image Version 1.0, FLS Fuzzy Logik Systeme GmbH, Dortmund
[FLS97b] Handbuch zum Softwaretool FuzzyDecisonDesk-Similar Version 1.0, FLS Fuzzy Logik Systeme GmbH, Dortmund