Purge des données

 

Contenu dans cette page

Principe général

Fonctions

Axe HISTORIQUE

Axe PÉRIODE COMMERCIALE

Axe ENTITÉ

 

 

Principe général

Pourquoi lancer des traitements de purge ?

1. besoin de pérenniser le contenu
   ‎ène plus être pollué par des données anciennes
   èpouvoir réutiliser des anciens codes
2. besoin de performances
   ‎èalléger le volume de données
3. besoin de place
   èplus vraiment une problématique de nos jours
   • taille base = somme des tailles de tablespace (Mo) dans DB101
   • mini < 10 Go
   • maxi > 100 Go

 

Actions chronologiques

• PréContrôle
• Purge dans la base d’exploitation.

 

À l’occasion de ces traitements de purge,‎ d’autres actions peuvent être librement imaginées, telles que :

• la redéfinition d’une gestion pérenne des compteurs
• la purge définitive des données "ORLIPAP" (non archivables)

 

 

3 axes (via 3 fonctions de purge, depuis 1 lanceur unique)

• Historique
  • tables de mouvements
    ‎ (création/modification/suppression, entrées/sorties)
  • tables associées à une liste d’entités définie
  • données purgeables jusqu’à une date
• Période Commerciale
  • tables d’encours
  • tables associées à une liste d’entités définie
  • données purgeables pour une saison ou jusqu’à une date
• Entité / Entités éloignées
  • tables de données principales
  • tables associées à une liste d’entités définie
  • données purgeables si code état=9

‎ 

Fonctions

• Fonction principale
  ‎

PU901W01
Cette fonction est chargée de piloter les 3 fonctions qui exécutent 3 axes de purge

 

3 axes : Historique (PU100) / Période Commerciale (PU200) / Entité (PU300)

 

• domaine de purge obligatoire (1 domaine = 1 axe précis,
  ‎avec tout ou partie des familles fonctionnelles, voir les tableaux en pages suivantes)

   

• consultation des actions chronologiques réalisées par domaine de purge (filtre)

   

• écran contextuel PU901W02 pour les différentes actions :
  • À contrôler
    èlancement PréContrôle
  • Contrôle bloquant
  • Contrôle OK
  • Purge OK
    ècycle terminé pour le domaine courant

 

• chaque PréContrôle est disponible unitairement sous forme de fonction «AS» :
  • AS601 : données utilisées (mais inexistantes)
    èdétection des liens manquants dans la base Cegid Orli
    • exemple : un code article plus référencé, mais toujours en stock
  • AS602 : unicités
    èdétection des « doublons » dans la base Cegid Orli
    • exemple : une même référence article/coloris/F.S. référencée x fois dans le stock d’un magasin
  • AS603 : volumétrie
    èvolume annuel/saisonnier de chaque table de la base Cegid Orli
  • AS604 : compteurs
    èbilan de la « vie » de chaque compteur de la base Cegid Orli
  • AS605 : factures temporaires
    èdétection/suppression des « factures à point » jusqu’à une date
  • AS606 : factures archivées
    ècertification de l’exhaustivité des factures archivées
  • AS607 : encours
    èdétection des encours par année
    • ‎ pour différencier les encours « réels » des encours « oubliés »
  • AS608 : données ORLIPAP
    èdétection des tables non vides
    • ‎ référencées « ORLIPAP » dans le MCD (famille spécifique)

 

• Fonctions d’historisation des purges
  ‎Historique Domaine Purge

PU902W01
Cette fonction liste les différentes demandes de PU901, avec leur date, et circularité vers PU902W02 / Liste actions de purge par table

 

Liste des pré-contrôle avant purge

PU930W01
Cette fonction liste tous les précontrôles qui ont été réalisés pour chaque demande PU901, avec les valeurs d’entité ayant généré des erreurs

 

‎ 

Axe HISTORIQUE

 

• Principe général : purge jusqu’à une date
  ‎
• Pas de contrôles fonctionnels bloquants
  ‎(car il s’agit du 1^er axe chronologique)
  ‎
• NE PAS TRAITER les historiques PRIX (non géré)
  ‎

‎ 

 

N.B. :
Les données à purger en italique ci-dessous ne sont PAS TRAITABLES pour l'instant dans le MCD.

8 / Prix	311 / Histo calcul Prix	----------
	312 / Histo éléments tarif	----------
9 / Processus	314 / Histo processus PF	----------
	315 / Histo processus MAT	----------

‎

 

Axe PÉRIODE COMMERCIALE

• Principe général : purge jusqu’à une date ou pour une saison
  ‎
• Contrôles fonctionnels bloquants :
  ‎ils peuvent être volontairement levés.
  ‎Exemple : si commande non soldée sur une saison très ancienne,
  ‎ ce n’est pas la peine de solder cette commande, il suffit de la purger

 

 

N.B. : ici, la famille fonctionnelle Facturation ne purge pas les facture client PF
‎èen effet la Période Commerciale des factures client PF correspond à leur « en cours »
‎c’est-à-dire avant le FA007 ; ‎ensuite elles se retrouvent historisées c’est donc l’axe Historique qui les traite.

‎ 

Axe ENTITÉ

• Contrôles fonctionnels bloquants :
  ‎Ils ne peuvent en aucun cas être levés (intégrité de la base).
  ‎è Chaque cas bloquant doit donc être traité
  ‎
• Principe général : on ne purge que les entités en état 9
  ‎è soit on repasse une entité non purgeable en état 0

è soit différentes actions sont à mener selon le blocage rencontré :

• • ARTICLE
    • Passage état 9 en série par AR801
    • Ne pas positionner de produit état 9 si l’article associé n’est pas état 9
    • Avec stock existant : il doit être vidé,
      ‎par recherche SP902, puis mouvement de sortie SP005
      (les historiques de sortie générés seront purgés avec les articles)
    • Inclus dans un regroupement commercial :
      ‎ recherche via DB801
    • Inclus dans un groupe de livraison :
      ‎recherche via DB801
  • MATIÈRE
    • Passage état 9 en manuel
    • Ne pas positionner de composant état 9 si la matière associée n’est pas état 9
    • Avec stock existant : il doit être vidé,
      ‎par recherche SM961, puis mouvement de sortie SM030
      ‎N.B. : les historiques de sortie générés seront purgés avec les matières.
  • FOURNISSEUR
    • Passage état 9 en manuel
  • CLIENT
    • Passage état 9 en manuel

 

‎ 

Messages standards dans les journaux de purge

Messages inclus dans le journal de purge

 

• Intégrité base / VOLUMÉTRIE (AS603)

AS603W01
Cette fonction fournit des éléments d'évaluation de la volumétrie des tables à purger par rapport à la totalité de la base Cegid Orli

 

N.B. :
ce PréContrôle peut durer longtemps, même si très peu de données à purger
‎(car il donne des informations par rapport à la volumétrie totale).

Volumétrie par entité à purger : liste de chaque table, avec :

• volume total
  ‎(sans tenir compte de la date de fin de purge)
• volume par date
  ‎(avec mise en évidence de l'année de fin de purge)
• volume par saison
  ‎(si entité gérée par saison)
• volume purgeable
  ‎(jusqu'à la date de fin de purge, en % du volume total)

exemple :
‎Vérification de l’entité 007/COMMANDE CLIENT PF, avant purge jusqu’au 31/12/2005 :
‎Sur un total de 10 000 commandes, réparties de 2000 à 2010,
‎on peut en purger 51% jusqu’à la date choisie

‎---------------------------
‎007 / COMMANDE CLIENT PF
‎---------------------------
‎Table CDE_CLI_ENT ( mère )
‎---------------------------
‎VOLUME TOTAL
‎............... : ... 10 000 (01/01/2000 => 31/12/2010)
‎> ANNÉES
‎.......... 2000 : ... 1 500 / 1 500
‎.......... 2001 : ..... 750 / 2 250
‎.......... 2002 : ... 1 210 / 3 460
‎…
‎.......... 2010 : ... 1 300 /10 000
‎---------------------------
‎DONT purgeable = 51%
‎............... : 5 100 (01/01/2000 => 31/12/2005)
‎
‎

exemple :
‎étude de l’entité 300 / Commission représentant
‎réalisée en 2010 pour purge jusque fin 2008 :

 

 

Messages non inclus dans le journal de purge
‎(mais disponible unitairement au menu, pour traiter une ou toutes les tables)

 

• Données utilisées (mais inexistantes) (AS601)

AS601W01
Cette fonction met en évidence les liens rompus entre les tables de la base Cegid Orli

 

Pour chaque information, gérée par une fonction donnée, on obtient la liste des toutes les autres fonctions qui stockent des valeurs inconnues pour cette information.
‎
‎Format :

version admin :

++ ordre SQL pour supprimer les enregistrements qui stockent la valeur inconnue
‎(non exécuté ; à copier/coller si besoin)

‎ 

exemple :
‎Vérification de la table PHASE :
‎Les codes phases P01 / P02 / P03 n'existent plus (TA020), mais sont toujours utilisés dans 5 groupes d'atelier (TA104) et dans des fiches matières (MA001Wxx)

Solutions :
‎Il faut rétablir l'intégrité de la base, en supprimant les données en trop, ‎soit par les fonctions Cegid Orli, soit par travaux d'Ingénierie dans la base ORACLE.
‎

• Intégrité base / UNICITÉS (AS602)

AS602W01
Cette fonction met en évidence les problèmes d'unicité dans les tables d’une entité de la base Cegid Orli, par rapport au MCD de cette base

 

Pour chaque table vérifiée, on obtient le nombre de clés uniques posant problème, avec, pour chacune de ces clés, le nombre de multiples trouvés dans la base.

‎Format :
‎

exemple :
‎Vérification de l'entité 006/CLIENT :
‎sur 1500 adresses client, il existe 10 cas de données multiples,
‎dont le dernier cas concernant le client 001/CLIENT1, avec 2 fois la liaison CDE

‎CLI_ADR(1500)
‎> CLI_ADR(10) 001/CLIENT1/CDE///=2x

 

‎
‎Solutions :
‎Il faut obligatoirement rétablir les unicités, en supprimant les données en trop,
‎soit par les fonctions Cegid Orli, soit par travaux d'Ingénierie dans la base ORACLE.

‎

Outils annexes

• Données utilisées (et existantes)

DB601W01
Cette fonction liste les tables utilisant UNE valeur gérée dans une table donnée, avec le nombre d’enregistrements concernés, par rapport au nombre total dans la table.

 

è utile pour vérifier l'utilisation d'une valeur avant de la supprimer

 

exemple :
quelles sont les tables qui stockent encore la monnaie FRF ?

• table de l'entité : MONNAIE
• valeur de l'entité : FRF

 

• MCD « veriftab »

DB602W01
Cette fonction liste les tables utilisant CHAQUE valeur d’une table donnée (équivalent à DB601, mais multi-valeurs)

 

exemple :
quelles sont toutes les monnaies utilisées ?

• table de l'entité : MONNAIE

‎ 

 

• MCD « count »

DB603W01
Cette fonction réalise un comptage mono-base du contenu de chaque table non vide (MCD ou non) sous forme de « hit-parade » classé par volumétrie, au format PDF ou XLSX

 

 

 

• MCD « multibase »

DB604W01
Cette fonction réalise un comptage multi-base OnPremise (licence) seulement, avec le contenu de chaque table non vide (MCD ou non) sous forme de « hit-parade » comparatif, classé par volumétrie, au format PDF ou XLSX.

‎ 

Conseils d’utilisation

• Cas de verrouillage des PréContrôles
  
  • un domaine unique « Période Commerciale » traite les Commandes et les Factures :
    • risque de double blocage :
      • « des Factures font référence aux Commandes à purger »
      • « des Commandes font référence aux Factures à purger »
    • solution = gérer 2 domaines distincts :
      • un 1^er domaine de Période Commerciale pour traiter les Commandes
      • un 2^nd domaine de Période Commerciale pour traiter les Factures
        
  • un domaine « Entité » traite les Matières, avec des nomenclatures Matière
    • risque de blocage si une Matière composante en état 9 fait partie de la nomenclature d’une Matière composée également en état 9
    • solution : lancer le domaine en 2 fois
      • d’abord les Matières composées en état 9
      • ensuite les Matières composantes en état 9 ‎(s’il en reste qui ne plus utilisées nulle part ailleurs)

 

• Cas de dates restées vides dans une table à purger.
  ‎
  exemple :

............. 2008 : 313 / 3 025

............. 2009 : 1 / 3 026

* dates nulles ............. NULL : 514 / 3 540 * dates nulles

 

è Ce cas doit être traité par Cegid, sans quoi ces données ne se purgent jamais.

‎ 

Fonctions Purge ANNEXES

• IV116 

inventaires matière (IV111)

 

• IV226 

inventaires PF (IV221)

 

• JP621 

suppression filtres & présentations

 

• PU400 

historique technique (JP530)

‎ 

Fonctions MCD ANNEXES

• JP666 

  JP666W01
  Cette fonction permet de paramétrer (exclusivement par Cegid) toutes les informations du MCD Cegid Orli (Modèle Conceptuel de Données)

   

   

• JP966 

  JP966W01
  Cette fonction permet de consulter le Modèle Conceptuel de Données saisi dans JP666

   

  Circularité vers JP666

   

  Les champs consultables et interrogeables sont les suivants :

   

  Table principale

  Clé d'unicité de la table

  Famille MCD

  Type d'entité Cegid Orli

  MCD Valide

  MCD Invalide

  Champ principal

  Table entité

  Champ entité

  Table MCD

  Champ MCD

  Lien MCD

  No d'ordre JP006

   

   

• DB666 

DB666W01
Cette fonction permet de restituer la structure du MCD

exemple :  pour entité 002 / article