IQ 12.7 et les chargements massifs : influence de la taille des pages et des blocs IQ

Introduction

Cet article propose un benchmark pour étudier l’influence de la taille des blocs IQ (IQ block size) et des pages IQ (IQ Page size) sur les chargements massifs dans un serveur IQ 12.7. L’objectif est de déterminer le meilleur compromis entre temps de chargement et espace consommé.

L’influence de la taille du bloc des systèmes de fichiers ZFS sur les chargements massifs IQ a été retirée de la version initiale de cette documentation : une article spécifique est proposé sur ce sujet : IQ 12.7 et les chargements massifs : influence de la taille des blocs des systèmes ZFS

Caractéristiques

Caractéristiques du serveur Solaris ( zfs list )

Les benchs sont réalisés sur une machine Solaris SPARC 10 (V445), machine qui dispose de 2 CPU à 1,5 GHz. L’écriture durant les tests est réalisée sur un système de fichiers ZFS ayant une taille de blocs de 2K et les disques sont locaux.

Pour retrouver la taille de bloc d’un système de fichier ZFS : utiliser la commande zfs list pour la propriété recordsize (volblocksize lorsqu’il s’agit d’un volume) :

zfs list -o name,recordsize

NAME                                RECSIZE
...
DATADEVICES/DBA_T1_ASE/DATADEVICES       2K
...
LOG-EXPORTS/DBA_T1_ASE/LOGDEVICES        4K
...

Caractéristiques du serveur IQ 12.7

Le serveur IQ est une version 12.7 ESD 5 64 bits. Les espaces de stockage IQ Main Store et IQ Temp Store sont respectivement de 10Gb et 2Gb.

Les configurations du serveur IQ dans les jeux de tests restent toujours identiques (caches, etc.) : l’iso-configuration est respectée.

Caractéristiques de la table à charger

Les chargements massifs sont réalisés sur une table d’environ 71 millions de lignes (INVESTMENT_POSITION) et ces 71 millions de lignes sont réparties sur 8 fichiers correspondant aux 8 trimestres (ou quarter) 2007 et 2008. La commande LOAD TABLE est utilisée pour le chargement massif des trimestres. Voici la répartition du nombre de lignes par trimestre :

La structure de la table INVESTMENT_POSITION est la suivante, elle possède un index unique sur 3 colonnes (index HG unique) :

CREATE TABLE IDW.INVESTMENT_POSITION
 (
	PORTFOLIO_ID             int                     NOT NULL IQ UNIQUE(5000),
	INSTRUMENT_ID            int                     NOT NULL IQ UNIQUE(500000),
	[DATE]                   date                    NOT NULL,
	TECH_QUANTITY            float                   NOT NULL,
	PHYSICAL_QUANTITY        float                   NOT NULL,
	STATUS                   char(2)                 NOT NULL IQ UNIQUE(50),
	LAST_RECORD_DATE         datetime                NULL,
	VALUATION                float                   NULL,
	LAST_VALUATION_DATE      datetime                NULL,
	CREATED_BY               varchar(20)             NOT NULL,
	CREATED_ON               datetime                NOT NULL,
	UPDATED_BY               varchar(20)             NULL,
	UPDATED_ON               datetime                NULL,
	PRIMARY KEY(PORTFOLIO_ID,INSTRUMENT_ID,[DATE])
 );

L’option de création des indexes FP est activée lors de ces chargements. Aussi les chargements massifs sont réalisés sur une table présentant :

• un index HG unique
• 13 indexes FP

Les trimestres sont toujours montés dans le même ordre et 3 chargements sont réalisés pour une configuration données (IQ PAGE SIZE/BLOCK SIZE) afin d’obtenir une moyenne représentative sur les paramètres suivants :

• Temps de chargement (phase 1 et 2)
• Consommation en espace (compression)

Rappels sur les tailles de pages et de blocs dans IQ (IQ PAGE SIZE, BLOCK SIZE)

La commande CREATE DATABASE permet de spécifier la taille des pages et la taille des blocs.

Voici à titre de rappel la syntaxe de la commande CREATE DATABASE uniquement pour les paramètres gouvernant les tailles de pages et de blocs, les autres paramètres sont occultés :

CREATE DATABASE db-name
... ...
... [ PAGE SIZE page-size ]
... ...
... [ IQ PAGE SIZE iq-page-size ]
... [ BLOCK SIZE block-size ]
... ...

Les valeurs possibles pour page-size, iq-page-size et block-size sont les suivantes :

• page-size: { 4096 | 8192 | 16384 | 32768 }
• iq-page-size: { 65536 | 131072 | 262144 | 524288 }
• block-size: { 4096 | 8192 | 16384 | 32768 }

Paramètre PAGE SIZE

Le paramètre PAGE SIZE gouverne la taille des pages du segment Adaptive Server Anywhere ( db-name.db ) contenant les tables du catalogue. Les valeurs peuvent être 4096, 8192, 16384 et 32768 (4K, 8K, 16K et 32K).

Influence sur les performances : comme le catalogue compte pour une fraction minuscule d’I/Os, la taille de page du catalogue n’a pratiquement pas d’impacts sur les performances.

Paramètre IQ PAGE SIZE

Le paramètre IQ PAGE SIZE gouverne la taille des pages dans les segments IQ physiques contenant les tables et indexes IQ et dans les segments IQ temporaires. La valeur doit être une puissance de 2, de 65536 (64K) à 524288 (512K). Lorsque le paramètre IQ PAGE SIZE n’est pas spécifié, la valeur par défaut est 128K (131072).

La taille de page détermine également 2 facteurs de performances :

• la taille du bloc de transfert par défaut.
• le maximum de compression de données.

Paramètre BLOCK SIZE

Tous les I/Os (écriture / lecture) se produisent en blocs de transfert. La taille de ces blocs de transfert est gouvernée par le paramètre BLOCK SIZE : elle est définie à la création de la base IQ et ne peut plus être modifiée par la suite.

La valeur du paramètre BLOCK SIZE doit être inférieure au paramètre IQ PAGE SIZE et doit être également une puissance de 2 entre 4096 (4K) et 32768 (32K). Une autre contrainte également : la taille de page divisée par la taille du bloc doit être égal à 2, 4, 8 ou 16, ainsi les seuls couples possibles PAGE SIZE (K) / BLOCK SIZE (K) sont :

Lorsque le couple n’est pas respecté, la création de la base de données est en échec avec l’erreur suivante :

The PAGE SIZE divided by the BLOCK SIZE must be equal to 2, 4, 8, or 16.
  DATABASE: /dba/asiq/IDB_T2_ASQ/investment.db  PAGE SIZE: 524288  BLOCK
		  SIZE: 4096

Lorsque le paramètre BLOCK SIZE n’est pas spécifié dans la commande CREATE DATABASE, la valeur par défaut dépend de la valeur du paramètre IQ PAGE SIZE :

Compression des données et chargements

Compression des données

La documentation est très pauvre au sujet de l’optimisation de la compression des données avec les paramètres IQ PAGE SIZE et BLOCK SIZE, même dans le manuel "Performance & Tuning guide". Tout ce que l’on peut lire est l’information suivante : Sybase IQ compresse les données lors du stockage sur disque; la compression des données réduit l’espace disque consommé et contribue aux performances; le taux de compression est déterminé automatiquement par le moteur IQ et dépend de la taille de page.

Chargements massifs (phases 1 & 2)

Les chargements massifs par la commande LOAD TABLE notifient dans le fichier de message du serveur IQ 2 phases (Insert Pass 1 et Insert Pass 2), exemple :

I. 12/30 16:19:11. 0000000054 [20895]: Insert Pass 1 completed in 109 seconds.
I. 12/30 16:21:36. 0000000054 [20895]: Insert Pass 2 completed in 145 seconds.

• La phase 1 correspond au chargement des données dans les indexes FP.
• La phase 2 correspond au chargement des nouvelles données dans les indexes HG, HNG, LF, etc.

Lorsqu’une table ne contient aucun index autre que les indexes systématiques FP par colonne, la phase 2 est de 0 seconde.

Résultats des chargements

Les tests dans ce paragraphe ont tous pour support d’écriture un système de fichiers ZFS ayant une taille de bloc de 2K.

Dans les tests, les chargements massifs de la table INVESTMENT_POSITION sont réalisés pour tous les couples possibles IQ PAGE SIZE/BLOCK SIZE.

Influence des tailles de pages et de blocs sur la compression des données

Les résultats obtenus sur la taille de la table INVESTMENT_POSITION en Gb sont résumés dans le graphique ci-dessous, l’évolution de la taille de la table est représentative de l’efficacité de la compression des données par le moteur IQ durant les chargements massifs :

Quelles conclusions en tirer ?

Lorsque l’on s’écarte progressivement des valeurs par défaut, les compressions demeurent homogènes :

• 3,2 GB pour les couples 64K/8K, 128K/16K et 256K/32K
• 3,7 GB pour les couples 64K/16K et 128K/32K

Le meilleur taux de compression est observé pour le couple 128K/8K.

Les meilleures compressions sont obtenues pour les couples 128K/8K et 256K/16K avec en tête de liste le couple 128K/8K : cette observation confirme les préconisations de Sybase pour les plateformes 64 bits, à savoir une taille de page de 128K ou de 256K en laissant la taille de bloc par défaut (128K/8K et 256K/16K).

Influence des tailles de pages et de blocs sur les temps de chargements

Les résultats obtenus sur les temps de chargement (phase 1 + phase 2) de la taille de la table INVESTMENT_POSITION sont résumés dans le graphique ci-dessous :

Quelles conclusions en tirer ?

Le meilleur temps obtenu est le couple 256K/16K qui correspond au couple de valeurs par défaut pour un serveur IQ construit avec une taille de pages de 256K.

Une dégradation très notable du temps de chargement est observé lorsque l’on passe du couple 64K/8K (27 min) au couple 64K/16K (31 min). Ce saut violent est également confirmé dans le taux de compression qui chute brutalement de 98% à 91% lors de la transition 64K/8K => 64K/16K (voir graphiques ci-dessous).

Conclusions

• Il ne faut jamais s’écarter du couple par défaut IQ PAGE SIZE/IQ BLOCK SIZE (64K/4K, 128K/8K, 256K/16K et 512K/32K) pour obtenir le meilleur taux de compression et le meilleur temps de chargement.
• Le meilleur taux de compression est observé pour le couple 128K/8K sur un système de fichiers ZFS défini en 2K.
• Le meilleur temps de chargement est observé pour le couple 256K/16K sur un système de fichiers ZFS défini en 2K. Si l’on souhaite privilégier le taux de compression par rapport au temps de chargement, le couple 128K/8K est le couple idéal : toutefois un gain de performances de 11% pour le temps de chargement est observé lorsque l’on migre du couple 128K/8K vers le couple 256K/16K pour une dégradation du taux de compression de 0,2%. Les résultats de performances obtenus sont conformes aux préconisations et valeurs par défaut IQ PAGE SIZE/BLOCK SIZE pour les plateformes 64bits.

Si une hésitation subsiste encore dans le choix du couple 128K/8K et 256K/16K, Sybase préconise pour les plateformes 64bits :

• Le couple 128K/8K si la plus large table contient plus d’un milliard de lignes et moins de 4 milliards de lignes.
• Le couple 256K/16K si la plus large table dépasse 4 milliards de lignes.
• Dans tous les cas de figure, les couples 128K/8K et 256K/16K sont les couples optimaux préconisés pour les bases de données qui peuvent croître au délà de 8Tb.

Le choix du couple peut également provenir de la taille maximale des tables consommatrices en colonnes varchar.