Dissertation, Otto-Friedrich-Universität Bamberg, 2025

This thesis explores two distinct approaches to optimizing machine learning for resource-constrained environments: hierarchical machine learning (HiML) for energy-efficient classification and neural network-based spectral reconstruction for cost-effective computational spectrometers. Both topics address different challenges but share the common goal of improving computational efficiency for embedded systems. The first part investigates hierarchical machine learning as a means to reduce energy consumption in classification tasks. Unlike traditional flat classifiers, which apply equal computational effort to all inputs, hierarchical machine learning structures classification as a hierarchy of decisions, allowing for early exits when classification confidence is high. Experimental results demonstrate that this approach reduces energy consumption by up to 47.63% while maintaining competitive accuracy. Additionally, reinforcement learning is introduced as an optimization strategy for classifier selection, significantly accelerating the search process compared to exhaustive methods. The second part focuses on spectral reconstruction, where neural networks recover full spectral information from complex sensor outputs. A physics-informed data augmentation method is introduced, leveraging the optical properties of transmission spectra to expand the dataset from 214 to over 10,000 samples. This augmentation improves model generalization without requiring additional physical measurements. Furthermore, layer-wise relevance propagation is applied to optimize the sensor hardware, enabling a 94% reduction in input dimensions while preserving high reconstruction accuracy. Benchmarking results reveal that smaller, well-optimized models can match or even surpass the performance of larger networks, demonstrating the potential for efficient, compact spectral reconstruction systems. The findings of this thesis contribute to the development of energy-efficient and computationally lightweight machine learning solutions. The proposed approaches enable more effective classification pipelines and high-fidelity spectral reconstruction on embedded systems, paving the way for real-world applications in industrial monitoring, portable spectral sensing, and other edge AI scenarios.

Diese Arbeit untersucht zwei unterschiedliche Ansätze zur Optimierung von maschinellem Lernen für ressourcenbeschränkte Geräte: Hierarchisches maschinelles Lernen für energieeffiziente Klassifikation und effiziente neurale Netzwerke zur spektrale Rekonstruktion. Beide Themen behandeln unterschiedliche Herausforderungen, verfolgen jedoch das gemeinsame Ziel, die Recheneffizienz für eingebettete Systeme zu verbessern. Der erste Teil untersucht hierarchisches maschinelles Lernen als Methode zur Reduktion des Energieverbrauchs bei Klassifikationsaufgaben. Im Gegensatz zu traditionellen sog. flachen Klassifikatoren, die für alle Eingaben denselben Rechenaufwand aufbringen, strukturiert hierarchisches maschinelles Lernen die Klassi- fikation als eine Abfolge von Entscheidungen. Dadurch können frühe Ausstiege erfolgen, sobald eine Klassifikation mit hoher Sicherheit getroffen werden kann. Experimentelle Ergebnisse zeigen, dass dieser Ansatz den Energieverbrauch um bis zu 47,63% reduziert, während die Klassifikationsgenauigkeit auf einem akzeptablen Niveau bleibt. Darüber hinaus setzen wir Reinforcement Learning als Optimierungsstrategie für die Klassifikatorauswahl ein, wodurch der Suchprozess im Vergleich zur Exhaustive Search deutlich beschleunigt wird. Der zweite Teil konzentriert sich auf die spektrale Rekonstruktion, bei der neuronale Netze vollständige Spektren aus komplexen Sensorausgaben rekonstruieren. Eine physikalisch fundierte Datenaugmentierungsmethode wird eingeführt, die die optischen Eigenschaften von Transmissionsspektren nutzt, um den Datensatz von 214 auf über 10.000 Messwerte zu erweitern. Diese Augmentierung verbessert die Generalisierungsfähigkeit der Modelle, ohne dass zusätzliche physikalische Messungen erforderlich sind. Zudem setzen wir Layer-Wise Relevance Propagation ein, um die Sensorhardware zu optimieren, wodurch eine Reduktion der Eingangsmerkmale um 94% erzielt wird, ohne die Rekonstruktionsgenauigkeit zu beeinträchtigen. Benchmarking-Ergebnisse zeigen, dass kleinere, gut optimierte Modelle die Leistung größerer Netzwerke erreichen oder sogar übertreffen können, was das Potenzial für effiziente und kompakte spektrale Rekonstruktionssysteme verdeutlicht. Die Ergebnisse dieser Arbeit tragen zur Entwicklung energieeffizienter und rechenoptimierter maschineller Lernlösungen bei. Die vorgeschlagenen Ansätze ermöglichen effektivere Klassifikationspipelines und hochpräzise spektrale Rekonstruktion auf eingebetteten Systemen und ebnen den Weg für reale Anwendungen in der industriellen Überwachung, der tragbaren Spektralanalyse und anderen Edge-AI-Szenarien.