> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-codex-link-agent-evals-docs.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
> Effectuez le fine-tuning de modèles OpenAI avec W&B pour journaliser les métriques d'entraînement, surveiller les jobs et comparer les performances du modèle au fil du temps.
# Fine-tuning OpenAI
export const ColabLink = ({url}) =>
Essayer sur Colab
;
Cette page explique comment enregistrer dans W\&B les métriques et la configuration de fine-tuning de votre modèle OpenAI GPT-3.5 ou GPT-4. En intégrant W\&B à l'API de fine-tuning d'OpenAI, vous pouvez suivre vos expériences, modèles et jeux de données de fine-tuning au même endroit et partager les résultats avec vos collègues. Utilisez cette intégration lorsque vous effectuez le fine-tuning de modèles OpenAI et souhaitez un suivi centralisé des expériences ainsi qu'un contrôle de version sur les données d'entraînement et les modèles obtenus.
Voir la [documentation OpenAI](https://platform.openai.com/docs/guides/fine-tuning/which-models-can-be-fine-tuned) pour obtenir la liste des modèles pour lesquels vous pouvez effectuer le fine-tuning.
Voir la section [Intégration W\&B](https://developers.openai.com/cookbook/examples/third_party/gpt_finetuning_with_wandb) dans la documentation OpenAI pour plus d'informations sur l'intégration de W\&B avec OpenAI pour le fine-tuning.
## Installer ou mettre à jour API Python OpenAI
Avant de synchroniser les résultats de fine-tuning, assurez-vous qu’une version compatible du client Python OpenAI est installée. L’intégration W\&B OpenAI Fine-tuning fonctionne avec OpenAI à partir de la version 1.0. Voir la documentation PyPI pour accéder à la dernière version de la bibliothèque [API Python OpenAI](https://pypi.org/project/openai/).
Pour installer API Python OpenAI, exécutez :
```bash theme={null}
pip install openai
```
Si l’API Python d’OpenAI est déjà installée, mettez-la à jour avec :
```bash theme={null}
pip install -U openai
```
## Synchronisez vos résultats de fine-tuning OpenAI
Cette section explique comment envoyer les métriques et la configuration d’un job de fine-tuning OpenAI vers W\&B afin de pouvoir les consulter aux côtés de vos autres Experiments. Pour ce faire, utilisez la classe `WandbLogger` du module `wandb.integration.openai.fine_tuning`.
```python theme={null}
from wandb.integration.openai.fine_tuning import WandbLogger
# Logique de fine-tuning
WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)
```
### Synchronisez vos fine-tunings
Synchronisez vos résultats depuis votre script. L'exemple suivant montre à la fois l'appel minimal en une seule ligne et l'ensemble complet des paramètres facultatifs que vous pouvez transmettre pour définir le comportement de la synchronisation.
```python theme={null}
from wandb.integration.openai.fine_tuning import WandbLogger
# commande en une ligne
WandbLogger.sync()
# passage de paramètres facultatifs
WandbLogger.sync(
fine_tune_job_id=None,
num_fine_tunes=None,
project="OpenAI-Fine-Tune",
entity=None,
overwrite=False,
model_artifact_name="model-metadata",
model_artifact_type="model",
**kwargs_wandb_init
)
```
### Référence
Le tableau suivant décrit chaque argument accepté par `WandbLogger.sync`.
| Argument | Description |
| ---------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `fine_tune_job_id` | L’ID de fine-tuning OpenAI que vous obtenez lorsque vous créez votre job de fine-tuning avec `client.fine_tuning.jobs.create`. Si cet argument vaut `None` (par défaut), W\&B synchronise tous les jobs de fine-tuning OpenAI qui n’ont pas encore été synchronisés. |
| `openai_client` | Transmettez un client OpenAI initialisé à `sync`. Si vous ne fournissez pas de client, le logger en initialise un. La valeur par défaut est `None`. |
| `num_fine_tunes` | Si vous ne fournissez pas d’ID, W\&B journalise tous les fine-tunings non synchronisés. Cet argument vous permet de sélectionner le nombre de fine-tunings les plus récents à synchroniser. Si `num_fine_tunes` vaut 5, W\&B sélectionne les 5 fine-tunings les plus récents. |
| `project` | Nom du projet W\&B dans lequel W\&B journalise les métriques, modèles, données, etc. de votre fine-tuning. Par défaut, le nom du projet est `"OpenAI-Fine-Tune"`. |
| `entity` | Nom d’utilisateur W\&B ou nom d’équipe où vous envoyez les runs. Par défaut, W\&B utilise votre entité par défaut, qui correspond généralement à votre nom d’utilisateur. |
| `overwrite` | Force la journalisation et remplace le run `wandb` existant pour le même job de fine-tuning. La valeur par défaut est `False`. |
| `wait_for_job_success` | Un job de fine-tuning OpenAI prend un certain temps après son démarrage. Pour garantir que W\&B journalise vos métriques dès que le job de fine-tuning se termine, ce paramètre vérifie toutes les 60 secondes si le statut du job de fine-tuning passe à `succeeded`. Une fois le job de fine-tuning terminé avec succès, W\&B synchronise automatiquement les métriques. La valeur par défaut est `True`. |
| `model_artifact_name` | Le nom de l’artifact de modèle enregistré. La valeur par défaut est `"model-metadata"`. |
| `model_artifact_type` | Le type de l’artifact de modèle enregistré. La valeur par défaut est `"model"`. |
| `**kwargs_wandb_init` | Tout argument supplémentaire transmis directement à [`wandb.init()`](/fr/models/ref/python/functions/init). |
## Gestion des versions et visualisation des jeux de données
Lorsque vous synchronisez un job de fine-tuning, W\&B capture également les données d'entraînement et de validation afin que vous puissiez en gérer les versions et les explorer de manière interactive. Les sous-sections suivantes décrivent les éléments suivis par W\&B et comment les consulter.
### Gestion des versions
Les données d'entraînement et de validation que vous téléversez dans OpenAI pour le Fine-tuning sont automatiquement enregistrées dans W\&B Artifacts afin de faciliter la gestion des versions. L'image suivante montre une vue du fichier d'entraînement dans Artifacts. Vous pouvez y voir le run W\&B qui a enregistré ce fichier, la date à laquelle il a été enregistré, la version du jeu de données correspondante, les métadonnées et la traçabilité du DAG, des données d'entraînement jusqu'au modèle entraîné.
### Visualisation
W\&B affiche les jeux de données dans W\&B Tables, ce qui vous permet de les explorer, d’y effectuer des recherches et d’interagir avec eux. L’image suivante montre les exemples d’entraînement visualisés avec W\&B Tables.
## Le modèle affiné et la gestion des versions des modèles
OpenAI ne rend pas accessibles les poids sous-jacents d’un modèle affiné ; W\&B suit donc le modèle en capturant plutôt ses métadonnées. OpenAI vous fournit un ID du modèle affiné. Comme vous n’avez pas accès aux poids du modèle, `WandbLogger` crée un fichier `model_metadata.json` contenant tous les détails du modèle (hyperparamètres, ID des fichiers de données, etc.), ainsi que l'ID `fine_tuned_model`, puis l'enregistre en tant qu'Artifact W\&B.
Cet Artifact de modèle (métadonnées) peut ensuite être lié à un modèle dans le [W\&B Registry](/fr/models/registry/).
## Questions fréquentes
Les sections suivantes répondent aux questions courantes sur le partage, l’organisation et la récupération des runs de fine-tuning synchronisés depuis OpenAI.
### Partagez les résultats obtenus en effectuant le fine-tuning avec votre équipe
Enregistrez vos jobs de fine-tuning sur votre compte Teams avec :
```python theme={null}
WandbLogger.sync(entity="")
```
### Organisez vos runs
W\&B organise automatiquement vos runs. Vous pouvez les filtrer et les trier en fonction de n'importe quel paramètre de configuration, comme le type de job, le modèle de base, le taux d'apprentissage, le nom du fichier d'entraînement et tout autre hyperparamètre.
Vous pouvez également renommer vos runs, ajouter des notes ou créer des tags pour les regrouper.
Une fois que tout vous convient, enregistrez votre Workspace et utilisez-le pour créer un report, en important des données depuis vos runs et vos Artifacts enregistrés (fichiers d'entraînement et de validation).
### Accédez à votre modèle affiné
W\&B journalise l’ID du modèle affiné dans les Artifacts (`model_metadata.json`) et dans la configuration.
```python theme={null}
import wandb
with wandb.init(project="OpenAI-Fine-Tune", entity="") as run:
ft_artifact = run.use_artifact("//model_metadata:")
artifact_dir = ft_artifact.download()
```
Le paramètre fictif `` peut prendre l'une des valeurs suivantes :
* Un numéro de version comme `v2`.
* L'ID du fine-tuning, par exemple `ft-xxxxxxxxx`.
* Un alias ajouté automatiquement, comme `latest`, ou ajouté manuellement.
Vous pouvez ensuite obtenir l'ID `fine_tuned_model` en lisant le fichier `model_metadata.json` téléchargé.
### Récupérer un fine-tuning qui ne s’est pas synchronisé
Si un fine-tuning n’a pas été enregistré correctement dans W\&B, vous pouvez utiliser `overwrite=True` et passer l’ID du job de fine-tuning :
```python theme={null}
WandbLogger.sync(
fine_tune_job_id="",
overwrite=True,
)
```
### Suivre les jeux de données et les modèles avec W\&B
W\&B enregistre automatiquement les données d’entraînement et de validation sous forme d’Artifacts. W\&B enregistre également les métadonnées, y compris l’ID du modèle affiné, sous forme d’Artifacts.
Vous pouvez également piloter le pipeline à l’aide d’API wandb de bas niveau comme `wandb.Artifact`, `wandb.Run.log`, etc. Cela vous permet d’assurer une traçabilité complète de vos données et de vos modèles.
## Ressources
Pour un contexte plus approfondi et des exemples de bout en bout, voir les ressources suivantes.
* La [documentation OpenAI sur le Fine-tuning](https://platform.openai.com/docs/guides/fine-tuning/) pour des conseils détaillés et des astuces.
* [Colab de démonstration](https://wandb.me/openai-colab).
* [How to Fine-Tune Your OpenAI GPT-3.5 and GPT-4 Models with W\&B](https://wandb.me/openai-report) Report.
