Klassische KI-Algorithmen
Tiefe neuronale Netze sind aufgrund von großen Fortschritten auf dem Gebiet sehr beliebt, jedoch sind neuronale Netze nicht für alle Aufgaben geeignet. Viele Problemstellungen lassen sich mithilfe von klassischen Ansätzen zielgerichteter und ressourcensparender lösen. Dazu gehören unter anderem:

• Data Engineering: Visualisierung, Komponentenanalyse und Aufbereitung von Daten
• Analyse von Zeitreihen, z.B. mithilfe von Hidden Markov Models
• Klassifikation mithilfe von Decision Trees, Support Vector Machine, Distanzmetriken
• Suchalgorithmen für Pfadoptimierung in Landkarten und Routing in Software Defined Networks
• Expertensysteme mit Prädikatenlogik, Grammatik-Parser und Entscheider
• Konstruktion von Grammatiken
• Prozesssteuerung mit Zustandsautomaten
• Weitere regelbasierte Systeme
• Klassische Bildanalyse mit OpenCV

Bildanalyse und Computer Vision
Die Aufgabe vieler eingebetteter Systeme ist die (Echtzeit-)Bildverarbeitung, beispielsweise in industriellen oder medizinischen Anwendungsfällen. Erkennungsraten können hier verbessert werden mit an die Aufgabe angepassten Methoden, zum Beispiel durch die Verwendung von optimierten Netzen oder die Erzeugung und Klassifikation von 3D Punktwolken. Je nach Anwendungsszenario arbeiten wir hierbei mit klassischen Bildverarbeitungsmethoden, modernen Machine Learning Bibliotheken oder mit langzeit-unterstützten Industrie-Bilderkennungssoftware.

Natural Language Processing - Sprache und Text
Sprache ist eine für den Menschen natürliche Kommunikationsform, jedoch hat sie für den Computer eine hohe Komplexität. Moderne Ansätze im Deep Learning haben es geschafft, Aufgaben der natürlichsprachliche Kommunikation abzubilden und in begrenzten Maße an die menschliche Leistung heranzukommen. Durch die erheblich verbesserte Leistung bieten sich neue Möglichkeiten für den Einsatz dieser Modelle.
Wir beraten und unterstützen Sie zu den modernen NLP-Systemen:

• Spracherkennung und Spracherzeugung
• Sprachmodelle zur Klassifikation, Textgenerierung oder als Dialogmodell
• Übersetzung mit Ende-zu-Ende Modellen
• Sprachgesteuerte Bilderzeugung
• Integration und Optimierung von vortrainierten Netzen
• Automatisierte Datensammlung und Aufbereitung
• Finetuning von vortrainierten Netzen
• Training von großen Modellen

Optimierung von Parametern in komplexen Systemen
Viele Prozessschritte oder Verfahren sind parameter-gesteuert und es ist oft schwer, aufgrund der Komplexität des Systems, die beste Kombination von Parametern zu finden. Mithilfe von wissenschaftlich etablierten Methoden helfen wir Ihnen, relevante Parameter zu identifizieren und diese zu optimieren, sowohl mit gradienten-basierten Verfahren als auch mithilfe von Methoden zur Optimierung diskreter Systeme.

Erweiterte Signalverarbeitung
Hardware-Beschleuniger für neuronale Netze ermöglichen neue, schnelle, optimierte und effizientere Implementierungen für fortgeschrittene Signalverarbeitung. Integrierte Beschleuniger berechnen neben den neuronalen Netzen auch die Fourier Transformationen bis hin zu lernbaren Filtern mit Faltungen. Bisher wurden diese Methoden vor allem auf dedizierten DSP-Hardwaremodulen umgesetzt. Wir beraten Sie und portieren für Sie Ihre Algorithmen der Signalverarbeitung.

Vorhersage von Zeitreihen
Die Vorhersage von Zeitreihen ist gefragt in vielen unterschiedlichen Disziplinen, zum Beispiel der Aktienkursanalyse, Wettervorhersage, oder Predictive Maintenance. Auch bei der Vorhersage des Verhaltens von Verkehrsteilnehmern im autonomen Fahren finden sie Einsatz. Vorhersagen von Zeitreihen sind ressourcensparend mit klassischen KI-Algorithmen möglich, z.B. Hidden Markov Modellen, oder mit Stand-der-Technik neuronalen Netzen von einfachen rekurrente neuronale Netze (RNNs) bis hin zu mächtigen Graph-basierten Netzen und Transformern. Wir unterstützen bei der Auswahl der Methode anhand von Einsatzszenario und vorhandenen Trainingsdaten.

Einsatz in tinyML Szenarien
Auf stromsparenden Cortex-M Microcontrollern ist oft kein Linux verfügbar, und damit auch keine der populären Deep-Learning Bibliotheken. Jedoch ist der Einsatz von KI in eingebetteten Systemen besonders interessant, da diese oft an ein größeres System angebunden sind.
Neuronale Netze bringen oft Vorteile bei Signalverarbeitung oder bei komplexen Tasks: Oft möchte man ein kleines eingebettetes System als "intelligenter Sensor", der schon eine Vorklassifizierung vornimmt oder Merkmale extrahiert. Dabei werden z.B. Merkmale aus Audio- oder Bildsensor-Daten extrahiert und dann an das größere System weitergeleitet und dort klassifiziert.
Hierzu setzen wir auch Machine Learning in tinyML Szenarien um. In diesen tinyML Szenarien sind oft weitere Nachbearbeitungsschritte für die Implementierung nötig, wie zum Beispiel Portierung und Quantisierung.

Erhebung und Aufbereitung von Daten
Machine Learning kann vor allem dann effektiv komplexe Aufgaben abbilden, wenn genug relevante Daten verfügbar sind. Hierbei lassen sich von vielen kleinen Sensoren schon viele Daten für unterschiedliche Zwecke sammeln. Viele eingebettete Systeme enthalten schon integrierte Mikrofone, oder Schnittstellen für Kameras; auch in den Sensoren noch kleinerer Regelungssysteme findet bereits eine Erfassung hochfrequenter Daten statt.
Wir unterstützen Sie bei der Datenerhebung über viele Schnittstellen hinweg, unter anderem:

• Dateiformate wie CSV, SQL, JSON, XML, Text und HDF5; sowie gängige Bild-, Video- und Audioformate
• Netzwerkbasierte-basierte Protokolle, wie zum Beispiel HTTP, FTP, NTP, MQTT und REST
• Bussysteme und Onboard-Schnittstellen, unter anderem Modbus/TCP, SSI/SPI, RS-485, Profibus und MTConnect
• Cloud-Anbindungen, wie z.B. Azure und AWS
• Auf Anfrage: Standardisierte Industrieprotokolle wie z.B.: OPC UA® oder MTConnect

Dazu ist oft eine Aufbereitung der gesammelten Daten notwendig: Datensätze, z.B. für das Training von Klassifikatoren, sind manchmal nicht zuverlässig und enthalten gemischte oder fehlerhafte Einträge. Mithilfe einer Konfidenzanalyse lassen sich Datensätze automatisiert auf falsch markierte Einträge überprüfen und ausfiltern.

MLOps zur effizienten Einbindung in Ihre Entwicklungsprozesse
In unserem Leistungsangebot legen wir besonderen Wert auf MLOps, das effiziente Management von Machine Learning-Projekten in der Produktion. MLOps ist die Kombination von DevOps-Praktiken und maschinellem Lernen, um den gesamten Lebenszyklus eines Machine Learning-Modells von der Entwicklung über das Training bis hin zum Deployment und der Überwachung zu optimieren. Unsere Experten unterstützen Sie dabei, Ihre Machine Learning-Initiativen nahtlos in Ihre bestehenden Prozesse und Infrastrukturen zu integrieren.

Wir bieten folgende MLOps-Leistungen an:

• Automatisierung des Trainings, der Evaluierung und des Deployments von Machine Learning-Modellen
• Continuous Integration und Continuous Deployment (CI/CD) für eine nahtlose Integration der ML-Modelle
• Skalierung von ML-Workloads in der Cloud oder On-Premises
• Überwachung und Management der Modell-Performance in Echtzeit
• Automatisierung der Hyperparameter-Optimierung und des Feature-Engineerings
• Beratung und Workshops zum Thema MLOps und Best Practices

Insgesamt unterstützt unser MLOps-Leistungsangebot Ihr Unternehmen dabei, Machine Learning-Projekte schneller, kosteneffizienter und skalierbarer umzusetzen.

Deployment
Oft soll die KI nicht auf einem PC implementiert werden, sondern in einem eingebetteten System oder in der Cloud als Service. Es gibt hierbei verschiedene Gründe, ein bestimmtes System auszuwählen, wie Anforderungen an die Reaktionszeit, Energiesparsamkeit oder Netzgröße. Wir helfen Ihnen bei der Auswahl und bei der Umsetzung verschiedener Deployment-Modelle:

• Heterogenes Deployment: Edge - Container - Cloud
• Inferenz von neuronalen Netzen auf Microcontrollern und Application Controllern
• Heterogenous Compute von neuronalen Netzen mit FPGAs (embedded Linux)
• Heterogenous Compute mit embedded Linux und Inferenz in der Cloud, bzw. mit dediziertem Inferenz-Server
• Inferenz mit HW-Beschleunigern auf eingebetteten Systemen, wie z.B. Nvidia Jetson