Treffer: A DataOps reference architecture for Data Science

Aquest document presenta la metodologia DataOps per desenvolupar projectes de Data Science de forma semi automatitzada. A més, se centra en el disseny, la implementació i testeig d'una arquitectura de software que reflecteixi la metodologia proposada. L'objectiu del projecte és integrar tot el coneixement d'aquesta metodologia en un document únic i proposar una arquitectura per el Data Management Backbone que pugui ser utilitzable, modificable i extensible pels usuaris. S'ha fet una introducció concisa a la metodologia i s'ha explicat tots els passos implicats. S'ha investigat les millors eines gratuïtes i de codi obert per materialitzar l'arquitectura proposada. Finalment, s'ha provat l'arquitectura implementada utilitzant diferents fonts de dades i se n'ha observat el comportament i les millores. ; This document presents DataOps methodology for developing Data Science projects in a semi-automated way. Furthermore, it focuses on the design, implementation and testing of a software architecture that reflects the proposed methodology. The objective of the project is to integrate all the knowledge of this methodology in a single document and to propose an architecture for the Data Management Backbone that can be usable, modifiable, and extensible by the users. A concise introduction to the methodology has been made, explaining all the steps involved. Research has been done on the best free and open-source tools to materialize the proposed architecture. Finally, the implemented architecture has been tested using different data sources and its behaviour and improvements have been observed.