MLflow

MLflow to otwarta platforma, która usprawnia cykl życia ML, oferując narzędzia do śledzenia eksperymentów, pakowania kodu, zarządzania modelami i współpracy. Jej komponenty zwiększają powtarzalność, wdrażanie oraz kontrolę cyklu życia w różnych środowiskach.

MLflow to otwarta platforma zaprojektowana do usprawnienia i zarządzania cyklem życia uczenia maszynowego (ML), adresująca złożoność związaną z rozwojem, wdrażaniem i zarządzaniem modelami ML. Zapewnia zestaw narzędzi umożliwiających data scientistom i inżynierom ML śledzenie eksperymentów, pakowanie kodu, zarządzanie modelami oraz współpracę w bardziej zorganizowany i wydajny sposób. MLflow jest niezależny od bibliotek, dzięki czemu jest kompatybilny z szeroką gamą frameworków i bibliotek uczenia maszynowego.

Główne komponenty MLflow

MLflow składa się z czterech podstawowych komponentów, z których każdy pełni określoną rolę w workflow uczenia maszynowego:

1. MLflow Tracking

Czym jest
MLflow Tracking to komponent oferujący API i interfejs użytkownika do rejestrowania eksperymentów uczenia maszynowego. Zapisuje i pozwala wyszukiwać parametry, wersje kodu, metryki oraz pliki wyjściowe (artefakty).

Zastosowanie
Data scientist może użyć MLflow Tracking do rejestrowania różnych hiperparametrów użytych w eksperymentach i porównywania ich wpływu na wydajność modelu. Przykładowo, podczas trenowania sieci neuronowej można logować różne wartości learning rate i batch size, aby przeanalizować, która konfiguracja daje najlepsze wyniki.

Przykład
Rejestrowanie parametrów takich jak learning rate, batch size oraz metryk, takich jak accuracy i loss podczas trenowania modelu. Informacje te pomagają wizualizować i porównywać wiele uruchomień, by zidentyfikować najskuteczniejsze ustawienia hiperparametrów.

2. MLflow Projects

Czym jest
MLflow Projects zapewnia standardowy format pakowania i udostępniania kodu uczenia maszynowego. Gwarantuje powtarzalność i przenośność eksperymentów, definiując zależności projektu i środowiska uruchomieniowe.

Zastosowanie
Podczas współpracy przy projekcie między różnymi zespołami lub wdrażania modeli w różnych środowiskach, MLflow Projects zapewnia spójność działania kodu niezależnie od miejsca uruchomienia.

Przykład
Katalog projektu zawierający plik MLproject, który określa sposób uruchamiania kodu, zależności oraz punkty wejścia. Taka konfiguracja pozwala zespołowi łatwo udostępniać swoją pracę i odtwarzać wyniki w różnych środowiskach.

3. MLflow Models

Czym jest
MLflow Models to komponent umożliwiający pakowanie modeli uczenia maszynowego w formacie gotowym do wdrożenia na różnych platformach, z obsługą inferencji w czasie rzeczywistym lub wsadowym.

Zastosowanie
Po wytrenowaniu modelu data scientist może użyć MLflow Models do spakowania modelu wraz z zależnościami, przygotowując go do wdrożenia na platformach chmurowych, takich jak AWS SageMaker czy Azure ML.

Przykład
Zapisanie wytrenowanego modelu w formacie MLflow, który zawiera zserializowany plik modelu oraz plik konfiguracyjny MLmodel. Zapewnia to łatwe wczytanie i użycie modelu do inferencji w różnych środowiskach.

4. MLflow Model Registry

Czym jest
Model Registry to centralne repozytorium do zarządzania cyklem życia modeli MLflow. Zapewnia wersjonowanie modeli, przechodzenie przez etapy oraz adnotacje, gwarantując właściwe zarządzanie i współpracę.

Zastosowanie
W środowisku produkcyjnym Model Registry pomaga zespołom MLOps zarządzać wersjami modeli, śledzić zmiany oraz kontrolować etapy wdrażania od rozwoju po produkcję.

Przykład
Rejestracja modelu w MLflow Model Registry, nadanie mu numeru wersji oraz przechodzenie przez etapy takie jak „Staging” i „Production”, by zapewnić kontrolowany proces publikacji.

Zalety korzystania z MLflow

MLflow oferuje szereg korzyści usprawniających proces rozwoju uczenia maszynowego:

1. Usprawnione śledzenie eksperymentów: MLflow zapewnia ujednolicony interfejs do logowania i porównywania eksperymentów, ułatwiając powtarzalność i współpracę.
2. Lepsza współpraca: Centralizacja danych eksperymentalnych i wspólna platforma MLflow wspierają dzielenie się wiedzą oraz pracę zespołową data scientistów i inżynierów.
3. Efektywne wdrażanie modeli: MLflow Models standaryzuje proces pakowania i wdrażania, umożliwiając łatwe przenoszenie modeli z rozwoju do środowiska produkcyjnego.
4. Kompleksowe zarządzanie modelami: Model Registry umożliwia efektywne zarządzanie cyklem życia, w tym wersjonowanie i przechodzenie przez etapy, gwarantując kontrolowane wdrażanie modeli.
5. Powtarzalne pipeline’y: MLflow Projects i Pipelines wspierają tworzenie powtarzalnych workflow, zwiększając spójność i skalowalność procesów ML.
6. Open source i rozszerzalność: Jako platforma open source, MLflow jest stale rozwijany przez społeczność. Jego rozszerzalność pozwala integrować różnorodne narzędzia oraz dostosowywać do indywidualnych potrzeb.

Zastosowania MLflow

MLflow jest wszechstronny i znajduje zastosowanie w różnych scenariuszach uczenia maszynowego:

• Śledzenie eksperymentów: Data scientistom MLflow Tracking umożliwia logowanie i porównywanie wyników eksperymentów oraz udoskonalanie modeli na podstawie analiz danych.
• Wybór i wdrażanie modeli: Inżynierowie MLOps wykorzystują Model Registry do wyboru i wdrażania najlepiej sprawdzających się modeli w środowiskach produkcyjnych.
• Monitorowanie wydajności modeli: Po wdrożeniu zespoły korzystają z MLflow do monitorowania wydajności modeli i wprowadzania niezbędnych korekt, by utrzymać dokładność i niezawodność.
• Projekty zespołowe: Zespoły organizują pracę przy użyciu MLflow Projects, wspierając współpracę i zapewniając spójne wykonanie w różnych środowiskach.

MLflow w AI, automatyzacji AI i chatbotach

Możliwości MLflow obejmują automatyzację AI oraz rozwój chatbotów, oferując narzędzia usprawniające trenowanie, wdrażanie i monitorowanie modeli AI. Na przykład podczas tworzenia chatbotów MLflow można wykorzystać do trenowania modeli przetwarzania języka naturalnego, śledzenia ich wydajności na różnych zbiorach danych oraz zarządzania wdrożeniem na różnych platformach konwersacyjnych, dzięki czemu odpowiedzi chatbota są dokładne i niezawodne.

Badania dotyczące MLflow

MLflow to otwarta platforma zaprojektowana do zarządzania cyklem życia uczenia maszynowego, w tym eksperymentowaniem, powtarzalnością i wdrażaniem. Jest coraz częściej wykorzystywana w nauce i przemyśle do usprawniania workflow projektów ML.

1. SAINE: Scientific Annotation and Inference Engine of Scientific Research
   W tej publikacji autorzy przedstawiają SAINE, silnik adnotacji wykorzystujący MLflow w celu usprawnienia procesów klasyfikacji w badaniach naukowych. Praca podkreśla, jak MLflow wspiera tworzenie przejrzystego i dokładnego systemu klasyfikacyjnego. Silnik wspomaga projekty meta-naukowe oraz współpracę w społeczności naukowej. Praca zawiera również wideo demonstracyjne oraz demo online ułatwiające poznanie możliwości systemu. Czytaj więcej.

2. IQUAFLOW: Nowe środowisko do oceny jakości obrazów
   IQUAFLOW wykorzystuje MLflow, by zapewnić framework do oceny jakości obrazów poprzez analizę wydajności modeli AI. Platforma integruje niestandardowe metryki i umożliwia badania dotyczące degradacji wydajności wskutek modyfikacji obrazów, takich jak kompresja. MLflow służy tu jako interaktywne narzędzie do wizualizacji i podsumowania wyników. Publikacja opisuje różne przypadki użycia oraz zawiera linki do repozytoriów. Dowiedz się więcej.

3. W kierunku lekkiej integracji danych przy użyciu multi-workflow provenance i obserwowalności danych
   To badanie proponuje MIDA — framework wykorzystujący MLflow do obserwowalności danych i integracji w różnych środowiskach obliczeniowych. Rozwiązanie adresuje wyzwania współpracy międzydyscyplinarnej i wspiera rozwój Responsible AI. MLflow odgrywa tu rolę w zarządzaniu przepływami danych pomiędzy systemami bez dodatkowej instrumentacji, poprawiając powtarzalność i efektywność naukowych workflow.