Herausforderung
Xaris GmbH arbeitete mit wiederkehrenden Datenabfragen aus unterschiedlichen externen Quellen. Die Ergebnisse mussten geprüft, strukturiert und für interne Prozesse weiterverwendet werden. Dieser Ablauf war manuell aufwendig, fehleranfällig und bei steigendem Volumen schwer zuverlässig zu skalieren.
Zusätzlich mussten verschiedene Sonderfälle berücksichtigt werden: unterschiedliche Antwortformate, temporäre Fehler, Wartezeiten, fehlende Daten und technische Einschränkungen einzelner Quellen. Ohne zentrale Verarbeitung war es schwierig, den Status einzelner Abfragen sauber nachzuvollziehen.
Lösung
Es wurde ein internes Automatisierungssystem für strukturierte Datenabfragen und Ergebnisverarbeitung entwickelt. Die Lösung arbeitet mit einer modularen Adapter-Architektur, sodass unterschiedliche externe Quellen über ein einheitliches System angebunden und verarbeitet werden können.
Anfragen werden als Jobs verwaltet, priorisiert und kontrolliert ausgeführt. Status, Fortschritt und Ergebnisse werden gespeichert, während Fehlerfälle, Wiederholungen und technische Ausnahmen nachvollziehbar behandelt werden. Zusätzlich wurden Benachrichtigungen integriert, damit relevante Ereignisse oder Probleme schnell sichtbar werden.
Ergebnis
Xaris GmbH erhielt eine stabile technische Grundlage für wiederkehrende Datenprozesse. Manuelle Verarbeitungsschritte wurden reduziert, Ergebnisse stehen strukturierter zur Verfügung und der Status einzelner Abfragen ist für den laufenden Betrieb nachvollziehbar.
Durch die modulare Architektur können weitere Quellen oder Prozessvarianten später gezielt ergänzt werden. Das macht den Prozess belastbarer bei steigendem Volumen und reduziert die Abhängigkeit von manueller Einzelfallbearbeitung.
Modulare Architektur statt Einzellösung
Die Lösung wurde nicht als einmaliges Skript aufgebaut, sondern als erweiterbares System mit klar getrennten Modulen. So lassen sich im Rahmen der Prozessautomatisierung neue Datenquellen oder Prozessschritte ergänzen, ohne bestehende Abläufe zu gefährden.
Kontrollierte Verarbeitung im Hintergrund
Wiederkehrende Abfragen werden im Hintergrund verarbeitet und ihr Status bleibt durch zuverlässige Schnittstellen jederzeit nachvollziehbar. Fehler, Wartezeiten und unvollständige Ergebnisse werden nicht ignoriert, sondern strukturiert behandelt und dokumentiert.
Technologien
- NestJS
- Node.js
- PostgreSQL
- Prisma
- Queue Processing
- Automatisierung
- Telegram Notifications