4D Microscopy

4D Microscopy

The aim of 4D microscopy is to measure and characterize moving or aperiodically changing microscopic structures (MEMS, nanotechnologies, engraving, chemical etching…) using interference microscopy. Our approach is to continuously scan the interference fringes over the whole of the depth of the surface to be measured, to capture the images with a high speed camera and to perform the image processing using highly parallel cabled logic to measure the height of the surface (see « Principle » page). (see « Principe » page).

The CAM 4D project

The first 4D prototype system was financed by the ACO-CNRS project ("La microscopie optique 3D en temps réel à très haute résolution spatiale") and EU INTERREG III project, in which we succeeded in making measurements in real time at a rate of 6 3D images per second over a depth of several µm [A. Dubois et al., European Phys. J.: Appl. Phys., 2002]. The high speed camera developed I the laboratory allowed an acquisition rate of 250 images/s (512x512 pixels) and the processing was performed using an FPGA ("Field Programmable Gate Array") board.

Thanks to the CAM4D project financed by Oséo, we were then able to develop a second prototype based on a high speed CMOS camera (500 i/s full field, 16000 i/s with reduced field) with improved real time performance.

The measurement system

The prototype consists of two parts. The first one is the Leica DMRX optical microscope equipped with interference objectives (Michelson or Mirau), a light source, a high speed camera, and a piezoelectric vertical translation stage with a range of 100 µm. The latter element is used to scan the fringes over the depth of the sample, the fringes appearing on the camera image of the sample surface. The second part consists of the acquisition board (equipped with a Virtex 2P FPGA Xilinx processor and SRAM or DDR memory) and the PC which controls the translation systems, the image acquisition and storage and the data processing. The whole system has to be carefully synchronised in order for it to function correctly.

Layout of 4D microscopy system in the CAM4D project.

The 4D microscopy system.

The visualisation software for viewing the results of the CAM 4D system.

The microscope is placed on a vibration isolation table (SmartTable from NewPort) equipped with a dynamic compensation system to reduce residual vibrations. The scanned fringe images are sent via a « CameraLink » cable to the acquisition board to be processed by the FPGA, where the information about the height at each pixel is extracted. The results are then sent to the PC, where they are visulaised in 3d and analysed. The system has the advantage of being flexible in terms of the choice of the image size, the acquisition rate, the depth to be measured and the type of algorithm used.

The software for controlling the system, for visualising the results and analysing and storing them were developed in a LabView environment.

The algorithms

The algorithms chosen were very compact, requiring only basic operators such as comparators, additions, multiplexers and multipliers that could be easily implemented in the FPGA. Two algorithms for extracting the surface height in real time were developed in VHDL (Very High speed integrated circuit hardware Description Language) and implemented in the FPGA: PFSM (Peak Fringe Scanning Microscopy) and FSA (Five-Sample-Adaptive non linear algorithm).

PFSM

La PFSM est un algorithme très simple qui consiste à détecter directement le pic sur la frange d’interférence. L’idée principale de cette méthode est d’utiliser la frange centrale d’ordre zéro (figure 3), caractérisée par le contraste le plus élevé, comme un plan sonde virtuel. Cette sonde virtuelle est ensuite utilisée pour détecter la valeur la plus grande de l’intensité de chaque pixel lors du balayage vertical de l’échantillon. Une image complète de la structure tridimensionnelle de l’échantillon est ainsi créée. Pour une profondeur de balayage verticale donnée, plus petit est le pas d’échantillonnage et meilleure sera sa résolution axiale au détriment de la quantité d’information à traiter.

• 

  Fig. 3: Méthode de détection du pic de la frange d’interférence par la PFSM

Le traitement consiste à rechercher à chaque pas le maximum d’intensité pour chaque pixel. Elle est bien adaptée au temps réel car elle a l’avantage d’être utilisable pendant l’acquisition des images. Cependant, le fond continu, qui varie très peu, ne doit pas présenter de variations d’intensités supérieures à l’amplitude maximale des franges.

FSA

La FSA est un algorithme qui consiste à mesurer l’enveloppe (visibilité) des franges à partir d’une fenêtre glissante de 5 images consécutives et déphasées de 90° suivant la relation :

• 

où C est une constante de normalisation. Le pic de l’enveloppe de la visibilité donne la position sur Z à chaque pixel.

Cette relation permet, dans un premier temps, d’extraire l’enveloppe des franges d’interférence à partir de 5 mesures prises le long de l’axe Z (figure 4.a) et au fur et à mesure que le balayage vertical évolue, on construit progressivement l’enveloppe des franges pour chaque pixel. L’étape suivante consiste à détecter le pic l’enveloppe pour chaque pixel (figure 4.b).

• 
• 

Fig. 4: Méthode de détection du pic de la frange d’interférence par la FSA

Comparaison :

La PFSM a une résolution verticale qui dépend du pas de déplacement de la table piézoélectrique ; plus ce pas est petit et meilleure sera sa résolution. Cependant, la réduction du pas d’échantillonnage entraîne une augmentation de la quantité de données à traiter. La technique de la FSA quant à elle exige que le déphasage entre 2 franges consécutives soit fixe et égal à 90°, ce qui impose un pas de balayage en Z connu et constant (environ 76 nm correspondant à λ/8, avec λ = 610 nm). La résolution de la FSA peut être améliorée, par exemple, par l’interpolation (moindres carrés) d’une gaussienne symétrique et adaptée dans le voisinage du pic de l’enveloppe. La FSA a l’avantage d’être moins sensible aux bruits hautes fréquences puisque celles-ci sont éliminées pendant la phase de construction de l’enveloppe. La FSA permet aussi d’éliminer le fond continu.

Résultats et performances

Une mesure de grande taille (640 x 1024 pixels) "on-line" en utilisant l’algorithme de la PFSM est présentée ci-dessous, montrant le déplacement latéral d’une sonde microfluxgate (sonde magnétique intégrée). La mesure a été effectuée à une cadence de 1,9 images 3D par seconde sur une profondeur de 5 µm avec une résolution axiale de 40 nm. En diminuant la taille de l’image, la cadence de mesure peut être augmentée.

• 
• 

Fig. 6: Déplacement de la sonde ; (a) I0 : t = 0 s ; dx = 0 µm, (b) I8 : t = 8/1,9 = 4,21 s ; dx = 36 pixels = 84,6 µm

Nous avons déplacé l’échantillon à l’aide d’une platine motorisée XY de précision. La vitesse de déplacement nominale de la platine est de 20 µm/s. Dans la figure 5, la sonde s’est déplacée de 84,6 µm (mesuré avec notre logiciel de profilométrie) sur un temps comprenant 8 images 3D, ce qui correspond à 4,21 secondes puisque la cadence de mesure 3D est de 1,9 images par seconde. On arrive alors à une vitesse de déplacement de la platine de 84,6/4,21 = 20,1 µm/s, ce qui correspond à la vitesse nominale.

La mesure quantitative du relief de l’échantillon est une autre information fournie par les images d’altitude. La figure 6 montre le profil de la sonde magnétique intégrée. On observe que la profondeur mesurée est de 3,22 µm.

• 

• 

Fig. 6: Mesure du profil de la sonde magnétique

Des mesures en temps réel ont pu être réalisées au laboratoire et ont permis de valider le fonctionnement des algorithmes de la PFSM et de la FSA et les performances du système (figure 7). Les cadences de mesure d’images 3D sont données en fonction de la profondeur mesurée pour différentes tailles d’image. Ainsi, pour une image de 640 x 1024 pixels, il est possible d’atteindre une cadence 3D de mesure de quelques images par seconde. Avec une réduction de la taille d’image à 320 x 256 pixels, par exemple, la cadence 3D de mesure peut être augmentée à une vingtaine d’images par seconde. La résolution de la FSA doit être de 76 nm, mais le pas de la PFSM peut varier. Si le pas de la PFSM est augmenté, alors la cadence d’images 3D est elle aussi augmentée. En contrepartie, plus le pas de la PFSM est petit et meilleure sera sa résolution axiale.

• 

• 

Fig. 7: Les performances du système de mesure en temps réel

Les avantages du système CAM 4D

Le système de mesure 4D temps réel de l’InESS a l’avantage d’avoir une grande souplesse en termes de choix de taille d’images (les grandes tailles sont possibles), de cadence d’acquisition (caméra rapide pouvant monter à très haute cadence), de profondeur de mesure et de type d’algorithme employé (PFSM ou FSA). La microscopie par interférométrie 4D telle que développée à l’InESS comporte principalement trois avantages par rapport à la microscopie classique 3D. Le premier est qu’elle permet d’analyser un échantillon plus rapidement qu’en 3D classique. Le second, qui est le plus important, est qu’elle permet de visualiser et de quantifier des changements de surface en temps réel. Le troisième est que ceci est possible sur de grandes profondeurs d’analyse.

Les points forts du système CAM 4D sont énumérés ci-dessous :

• Souplesse

• Choix de la taille de la surface à analyser (possibilité de grandes tailles) ;

• Choix de la cadence d’acquisition ;

• Choix de la profondeur de mesure ;

• Choix de l’algorithme à appliquer 

• Algorithmes évolutifs : implémentés en logique câblée (FPGA) reprogrammable ;

• Logiciel de gestion modulaire du banc de mesure : développé sous LabView ;

• Logiciel de gestion modulaire du banc de mesure

• Banc constitué de composants standards (microscope, caméra rapide, carte de traitement, etc) ;

• Possibilité de déplacer soit l’objectif interférentiel ou soit l’échantillon ;

• Mesures 3D en temps réel enregistrables ;

• Mesure et caractérisation de structures microscopiques en mouvement périodique ou apériodique ;

Cette technologie et principalement ces avantages ouvrent donc la voie vers de nouvelles applications.