TÉMÁK, Kategóriák

  • Nincs kategória

Előző havi témák

Modele de spark

533
HOZZÁSZÓLÁS:

Spark suppose que le jeu de données utilise l`indexation basée sur 1 (les index de fonctionnalité regardent avec 1). Toutefois, lorsque vous effectuez une prédiction avec d`autres liaisons de XGBoost (par exemple, l`API Python de XGBoost), XGBoost suppose que le jeu de données utilise l`indexation basée sur 0 (les index de fonctionnalité commençant par 0) par défaut. Il crée un piège pour les utilisateurs qui forment le modèle avec Spark, mais prédisent avec le jeu de données dans le même format dans d`autres liaisons de XGBoost. La solution consiste à transformer le jeu de données en indexation basée sur 0 avant de prédire avec, par exemple, l`API Python, ou vous ajoutez? indexing_mode = 1 à votre chemin d`accès au fichier lors du chargement avec DMatirx. Par exemple, dans Python: utilisation de HDFS et S3 pour l`exportation des modèles avec nativeBooster. saveModel () 2. Appelez la fonction Spark SQL`create_map`pour fusionner vos colonnes d`ID et de prédicteur uniques en une seule colonne où chaque enregistrement est un magasin de valeurs clés. Avec Databricks ML Model Export, vous pouvez facilement exporter vos modèles et pipelines formés Apache Spark ML. En outre, assurez-vous d`installer Spark directement à partir du site Web Apache.

En amont, XGBoost n`est pas garanti pour fonctionner avec des distributions tierces de Spark, telles que Cloudera Spark. Consultez les tiers appropriés pour obtenir leur distribution de XGBoost. Les paramètres disponibles pour la formation d`un modèle XGBoost peuvent être trouvés ici. Dans XGBoost4J-Spark, nous prenons en charge non seulement l`ensemble de paramètres par défaut, mais aussi la variante Camel-case de ces paramètres pour rester cohérent avec les paramètres MLLIB de Spark. Dans XGBoost4J-Spark, chaque collaborateur XGBoost est enveloppé par une tâche Spark et le jeu de données d`apprentissage dans l`espace mémoire d`Spark est alimenté par les travailleurs XGBoost dans une approche transparente de l`utilisateur. Après avoir défini les paramètres XGBoostClassifier et la colonne Feature/label, nous pouvons créer un transformateur, XGBoostClassificationModel en ajustant XGBoostClassifier avec le DataFrame d`entrée. Cette opération d`ajustement est essentiellement le processus de formation et le modèle généré peut ensuite être utilisé dans la prédiction. Par défaut, nous utilisons le tracker dans DMLC-Core pour piloter la formation avec XGBoost4J-Spark. Il nécessite Python 2.7 +.

Nous avons également une version expérimentale de Scala de Tracker qui peut être activée en passant le paramètre tracker_conf comme Scala. Assurez-vous d`ajouter le chemin d`accès réel et les informations d`identification AWS. Une alternative consiste à définir les variables d`environnement AWS_ACCESS_KEY_ID et AWS_SECRET_ACCESS_KEY dans le SparkContext et à utiliser un chemin normal à la place. Un pipeline est spécifié comme une séquence d`étapes, et chaque étape est soit un transformateur ou un estimateur.

533
HOZZÁSZÓLÁS:
loading...

Hozzászólások |

Összesen eddig
0
<strong>Válogatott</strong> készítmények a gyomor + a bélrendszer problémái esetén!
Válogatott készítmények a gyomor + a bélrendszer problémái esetén!
<strong>Válogatott</strong> készítmények a gyomor + a bélrendszer problémái esetén!

Friss HOZZÁSZÓLÁSOK

0

    TÉMÁK, Kategóriák

    • Nincs kategória

    Előző havi témák

    Kapcsolódók |

    Hasonló cikkek, témák
    Miért jó ha regisztrál?

    Első kézből értesülhet új terápiákról gyógymódokról!

    Első kézből értesülhet akciós vásárlási ajánlatokról!

    Login



    Elfelejtette jelszavát?
    Regisztráció! [ bezár ]
    Miért jó ha regisztrál?

    Első kézből értesülhet új terápiákról gyógymódokról!

    Első kézből értesülhet akciós vásárlási ajánlatokról!

    Felhasználó létrehozása!



    Már regisztrált? Jelentkezzen be! [ bezár ]

    Elfelejtette jelszavát?


    [ bezár ]