#214 Daten aus Spotify & Co: Architektur einer skalierbaren API-Data-Pipeline
Engineering Kiosk
23.09.2025 • 59 Min.
Wie würdest du ... Open Podcasts … bauen? Architektur- und Design-Diskussion, die zweite. Monolith oder Microservices? Python oder Go? Wer träumt nachts eigentlich vom perfekten ETL-Stack? Als Softwareentwickler:in kennst du das: Daten aus zig Quellen, kapriziöse APIs, Security-Bedenken und der Wunsch nach einem skalierbaren, sauberen Architekturkonzept. Fragen über Fragen und etliche mögliche Wege. Welcher ist “der Richtige”? Genau dieses Szenario nehmen wir uns zur Brust: Wolfi hat mit „Open Podcast“ ein reales Projekt gebaut, das Analytics-Daten aus Plattformen wie Spotify, Apple & Co. zusammenführt. Du willst wissen, wie du verteilte APIs knackst, Daten harmonisierst, Backups sicherst und deine Credentials nicht als Excel-Sheet auf den Desktop legst? Komm mit auf unseren Architektur-Deepdive! Andy wird Schritt für Schritt interviewt und challenged, wie er als Engineer, von API-Strategie über Message Queues bis Security und Skalierung, dieses Problem kreativ lösen würde. Nebenbei erfährst du alles Wichtige über Open-Source-Vorteile, Datenbanken (PostgreSQL, Clickhouse), Backups, Monitoring und DevOps. Das Ganze immer garniert mit Learnings aus der echten Praxis. Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners Das schnelle Feedback zur Episode: ? (top) ? (geht so) Anregungen, Gedanken, Themen und WünscheDein Feedback zählt! Erreiche uns über einen der folgenden Kanäle … EngKiosk Community: https://engineeringkiosk.dev/join-discord LinkedIn: https://www.linkedin.com/company/engineering-kiosk/Email: stehtisch@engineeringkiosk.devMastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialInstagram: https://www.instagram.com/engineeringkiosk/ Unterstütze den Engineering KioskWenn du uns etwas Gutes tun möchtest … Kaffee schmeckt uns immer Buy us a coffee: https://engineeringkiosk.dev/kaffee LinksEngineering Kiosk Episode #154 Architektur-Diskussion: Design eines einfachen und robusten Preis-Scrapers: https://engineeringkiosk.dev/podcast/episode/154-architektur-diskussion-design-eines-einfachen-und-robusten-preis-scrapers/Open Podcast: https://openpodcast.dev/Open Podcast auf GitHub: https://github.com/openpodcast/Restic: https://restic.net/Percona XtraBackup: https://www.percona.com/mysql/software/percona-xtrabackup Sprungmarken(00:00:00) Wie würdest du ... Open Podcasts bauen? (00:03:35) Info/Werbung (00:04:35) Wie würdest du ... Open Podcasts bauen? (00:14:25) Die Produkt-Fragen: Was muss berücksichtigt werden? (00:25:16) Daten anfragen, vereinheitlichen und die Message Queue (00:41:23) Security: Wie speicherst du Zugangsdaten? Wie machst du Backups? (00:49:08) Monitoring und Continuous Integration (CI)/Continuous Delivery (CD) (00:52:28) Wie wurde das Produkt gebaut? HostsWolfgang Gassler (https://gassler.dev) Andy Grunwald (https://andygrunwald.com/) CommunityDiskutiere mit uns und vielen anderen Tech-Spezialist⋅innen in unserer Engineering Kiosk Community unter https://engineeringkiosk.dev/join-discord