IPP team: Photonics Instrumentation and Processes

Difference between revisions of "4D Microscopy"

From IPP team: Photonics Instrumentation and Processes
Jump to navigation Jump to search
(Created page with "===Microscopie 4D=== :L’objectif de la microscopie 4D développée au laboratoire est la mesure et la caractérisation des structures microscopiques en mouvement (MEMS, nan...")
 
 
(9 intermediate revisions by the same user not shown)
Line 1: Line 1:
===Microscopie 4D===
+
===4D Microscopy===
  
:L’objectif de la microscopie 4D développée au laboratoire est la mesure et la caractérisation des structures microscopiques en mouvement (MEMS, nanotechnologies, procédés de gravure, attaques chimiques…) en utilisant la technique de la microscopie interférométrique. Notre approche est de balayer en continu les franges d’interférence sur toute la profondeur de la surface à mesurer, d’acquérir les images avec une caméra rapide et d’effectuer un traitement d’images fortement parallélisé en logique câblée pour mesurer la hauteur du relief de la surface (voir l’onglet « Principe »). Cette approche nous permet de réaliser des mesures apériodiques, aussi bien que périodiques.
+
:The aim of 4D microscopy is to measure and characterize moving or aperiodically changing  microscopic structures (MEMS, nanotechnologies, engraving, chemical etching…) using interference microscopy. Our approach is to continuously scan the interference fringes over the whole of the depth of the surface to be measured, to capture the images with a high speed camera and to perform the image processing using highly parallel cabled logic to measure the height of the surface (see « Principle » page). (see « Principe » page).
  
  
====Le projet CAM 4D====
+
====The CAM 4D project====
  
:Au cours des dix dernières années, le laboratoire a acquis une forte expérience dans le domaine de la métrologie interférométrique.
 
  
 +
:The first 4D prototype system was financed by the ACO-CNRS project ("La microscopie optique 3D en temps réel à très haute résolution spatiale") and EU INTERREG III project, in which we succeeded in making measurements in real time at a rate of 6 3D images per second over a depth of several µm [https://publis.icube.unistra.fr/2-DVBM02 [A. Dubois et al., European Phys. J.: Appl. Phys., 2002<nowiki>]</nowiki>]. The high speed camera developed in the laboratory allowed an acquisition rate of 250 images/s (512x512 pixels) and the processing was performed using an FPGA ("Field Programmable Gate Array") board.
  
:Le premier prototype de système 4D a été financé par un projet ACO-CNRS ("La microscopie optique 3D en temps réel à très haute résolution spatiale") et le projet EU INTERREG III, où nous avons réussi à effectuer des mesures en temps réel à une cadence de 6 images 3D par seconde sur une profondeur de rugosité de quelques microns [Dubois et al. 2002 et Montgomery et al. 2003]. Ces résultats ont été une <u>première au niveau mondial</u> à notre connaissance, tant au niveau de la cadence de mesure que pour la profondeur d&#8217;analyse. La caméra rapide CCD permettait une acquisition de 250 images/s (512x512 pixels) et le traitement était effectué sur une carte FPGA ("Field Programmable Gate Array").
+
:Thanks to the CAM4D project financed by Oséo, we were then able to develop a second prototype based on a high speed CMOS camera (500 i/s full field, 16000 i/s with reduced field) with improved real time performance, up to 25 3D images per second over a depth of several µm.
  
  
:Grâce au Projet CAM4D financé par Oséo, nous avons développé un deuxième prototype autour d&#8217;une caméra rapide CMOS (500 i/s en plein champ, 16000 i/s en talle réduite) avec des performances accrues. Le système de microscopie interférométrique <b> CAM 4D </b> est un prototype &#171;&nbsp;pré-industriel&nbsp;&#187; de visualisation et de métrologie optique dans le domaine de la <u>profilométrie 4D (3D + temps) en temps réel</u>. Autrement dit, c’est un système de mesure et de caractérisation 4D d’objets microscopiques en mouvement.
+
====The measurement system====
  
 +
:The prototype consists of two parts. The first one is the Leica DMRX optical microscope equipped with interference objectives (Michelson or Mirau), a light source, a high speed camera, and a piezoelectric vertical translation stage with a range of 100 µm. The latter element is used to scan the fringes over the depth of the sample, the fringes appearing on the camera image of the sample surface. The second part consists of the acquisition board  (equipped with a Virtex 2P FPGA Xilinx processor and SRAM or DDR memory) and the PC which controls the translation systems, the image acquisition and storage and the data processing. The whole system has to be carefully synchronised in order for it to function correctly.  <br/>
  
====Le banc de mesure====
+
:<gallery widths=200px heights=200px>
 
+
File:4D microscopy layout.jpg|Layout of 4D microscopy system in the CAM4D project.
:<gallery widths=560px heights=420px>
+
File:4D microscopy system.jpg|The 4D microscopy system.
File:P1010550P1.jpg|: Système de microscopie CAM 4D
+
File:4D microscopy LabView screen shot.jpg|The visualisation software for viewing the results of the CAM 4D system.
</gallery>
 
 
 
:La figure ci-dessous montre le schéma du système CAM 4D.
 
 
 
:<gallery widths=360px heights=283px>
 
File:CAM4D_System-1.png|: Fig. 1: Schéma du système de microscopie 4D
 
 
</gallery>
 
</gallery>
  
:Ce prototype peut être décomposé en deux parties. Une première partie, optique, est constituée d&#8217;un microscope Leica DMRX équipé d&#8217;objectifs interférométriques (Michelson ou Mirau), d&#8217;une source de lumière, d&#8217;une caméra rapide numérique et d&#8217;un module de translation verticale piézoélectrique avec une dynamique de 100 µm. Une série de franges peut alors être observée dans le détecteur de la caméra montrant les variations de contraste au niveau de chaque pixel. Une seconde partie, électronique/informatique, est constituée d&#8217;une carte d&#8217;acquisition (dotée d’un FPGA Virtex 2P de Xilinx et de mémoires SRAM et DDR) et d&#8217;un ordinateur. Elle sert à contrôler les différents systèmes de translation et à assurer l&#8217;acquisition, le stockage et le traitement des données d&#8217;interférence issues de la partie optique. L’ensemble des composants doit être soigneusement synchronisé afin que le système puisse fonctionner correctement. <br/>
+
:The microscope is placed on a vibration isolation table (SmartTable from NewPort) equipped with a dynamic compensation system to reduce residual vibrations. The scanned fringe images are sent via a « CameraLink » cable to the acquisition board to be processed by the FPGA, where the information about the height at each pixel is extracted. The results are then sent to the PC, where they are visulaised in 3d and analysed. The system has the advantage of being flexible in terms of the choice of the image size, the acquisition rate, the depth to be measured and the type of algorithm used. <br/>
 
 
 
 
:Le dispositif est posé sur une table anti-vibration (SmartTable de NewPort) équipée d&#8217;un système de compensation actif qui limite les vibrations résiduelles du banc optique. <br/>
 
 
 
 
 
:Le principe de fonctionnement du système CAM 4D est le suivant&nbsp;: la surface de l&#8217;échantillon à analyser est balayée sur toute sa profondeur par une sonde virtuelle au moyen d&#8217;un translateur vertical piézoélectrique. Les images ainsi formées sont envoyées, via une liaison &#171;&nbsp;CameraLink&nbsp;&#187;, vers la carte d’acquisition et sont traitées dans le FPGA, où les informations d’altitude (3D) sont extraites. Les résultats sont ensuite envoyés vers le PC, où ils sont visualisés et analysés. Ce système a l&#8217;avantage d&#8217;une grande souplesse en terme de choix de taille d&#8217;images, de cadence d&#8217;acquisition, de profondeur de mesure et de type d&#8217;algorithme employé. <br/>
 
 
 
 
 
:Les logiciels de contrôle du système, de visualisation, de sauvegarde et d&#8217;analyse des résultats ont été développés sous l&#8217;environnement de développement graphique LabView (Laboratory Virtual Instrumentation Engineering Workbench). La figure ci-dessous donne un aperçu du logiciel de visualisation des résultats en 3D temps réel. <br/>
 
 
 
 
 
<gallery widths=600px heights=315px>
 
File:Capture_d_ecran_LabView_FSA_PFSM_Real_Time-Bis.png|: Fig. 2: Logiciel de visualisation des résultats du système CAM 4D
 
</gallery>
 
  
 +
The software for controlling the system, for visualising the results and analysing and storing them were developed in a LabView environment.
  
====Les algorithmes====
 
  
:Nous avons choisi d&#8217;implanter les techniques d&#8217;analyse en lumière blanche dans notre banc de mesure 4D afin de garantir une grande dynamique de mesure. En effet, certaines techniques utilisées en lumière blanche ne nécessitent que l&#8217;utilisation d&#8217;opérateurs basiques tels que les comparateurs, les additionneurs, les multiplexeurs, les multiplieurs, facilement implementables sur cible matérielle telle qu&#8217;un FPGA. <br/>t
+
====The algorithms====
  
:Deux algorithmes d’extraction d’images 3D en temps réel ont été développés en <i> VHDL </i> (Very High speed integrated circuit hardware Description Language) et implémentés dans le FPGA&nbsp;: la <span style="color: #6666CC"> PFSM </span> (Peak Fringe Scanning Microscopy) et la <span style="color: #6666CC"> FSA </span> (Five-Sample-Adaptive non linear algorithm). <br/>
+
:The algorithms chosen were very compact, requiring only basic operators such as  comparators, additions, multiplexers and multipliers that could be easily implemented in the FPGA. Two algorithms for extracting the surface height in real time were developed in VHDL (Very High speed integrated circuit hardware Description Language) and implemented in the FPGA: PFSM (Peak Fringe Scanning Microscopy) and FSA (Five-Sample-Adaptive non linear algorithm). <br/>
  
  
 
=====PFSM=====
 
=====PFSM=====
  
:La PFSM est un algorithme très simple qui consiste à détecter directement le pic sur la frange d&#8217;interférence. L&#8217;idée principale de cette méthode est d&#8217;utiliser la frange centrale d&#8217;ordre zéro (figure 3), caractérisée par le contraste le plus élevé, comme un plan sonde virtuel. Cette sonde virtuelle est ensuite utilisée pour détecter la valeur la plus grande de l&#8217;intensité de chaque pixel lors du balayage vertical de l&#8217;échantillon. Une image complète de la structure tridimensionnelle de l&#8217;échantillon est ainsi créée. Pour une profondeur de balayage verticale donnée, plus petit est le pas d&#8217;échantillonnage et meilleure sera sa résolution axiale au détriment de la quantité d&#8217;information à traiter. <br/>
+
:The PFSM algorithm is very simple, consisting of detecting the peak intensity of the fringe signal, corresponding to the zero order fringe. This fringe peak is used as a virtual probe plane by detecting the highest intensity value at each pixel along the optical axis to measure the positon of the surface at each point and thus the 3D shape. The smaller the sampling step, the higher is the axial resolution but at the cost of more data to process. <br/>
 
 
  
<gallery widths=380px heights=237px>
+
<gallery widths=200px heights=200px>
File:PFSM_2.png|: Fig. 3: Méthode de détection du pic de la frange d&#8217;interférence par la PFSM
+
File:PFSM_2.png|Virtual probe plane formed by detection of the peak of the central interference fringe at each pixel in PFSM.
 
</gallery>
 
</gallery>
  
:Le traitement consiste à rechercher à chaque pas le maximum d&#8217;intensité pour chaque pixel. Elle est bien adaptée au temps réel car elle a l&#8217;avantage d&#8217;être utilisable pendant l&#8217;acquisition des images. Cependant, le fond continu, qui varie très peu, ne doit pas présenter de variations d&#8217;intensités supérieures à l&#8217;amplitude maximale des franges.
+
:The PFSM algorithm is well adapted to real time processing on the FPGA since it is fast enough to be applied during the image acquisition. It also has the advantage of being able to vary the axial resolution, typically from 10 nm to 100 nm. The disadvantage of the simplicity is the lack of robustness to variations in background intensity over the scan depth which should not present values higher than the fringe to be detected.
 
 
  
 
=====FSA=====
 
=====FSA=====
  
:La FSA est un algorithme qui consiste à mesurer l’enveloppe (visibilité) des franges à partir d’une fenêtre glissante de 5 images consécutives et déphasées de 90&#176; suivant la relation&nbsp;: <br/>
+
:The FSA (five Sample Adapative) algorithm consists of detecting the envelope of the fringes by measuring the fringe visibility at each point along the optical axis with a sliding window of 5 consecutive images with phase steps of 90° (λ/8) between images, corresponding to steps of about 76 nm at an average effective wavelength of λ = 610 nm. The following formula is used to calculate the fringe visibility or modulation: <br/>
 
 
  
<gallery widths=268px heights=43px>
+
<gallery widths=200px heights=200px>
File:547ace0a460ecc0a6d7aee9f7f13bbf7.png
+
File:547ace0a460ecc0a6d7aee9f7f13bbf7.png| Formula used to calculate the fringe visibility or modulation in FSA, where C is a normalisation constant.
 +
File:FSA_1-bis.png|Calculation of the fringe visibility of the signal along the optical axis in FSA.
 +
File:FSA_2-bis.png|Detection of the peak of the envelope, giving the position of the surface at that point.
 
</gallery>
 
</gallery>
où C est une constante de normalisation. Le pic de l&#8217;enveloppe de la visibilité donne la position sur Z à chaque pixel.
+
This formula provides a simple means of extracting the envelope of the interference fringes along the optical axis, the peak of which gives the position of the surface at a given pixel. The FSA algorithm is more robust than the PFSM algorithm, being less sensitive to variations in background intensity along the optical axis. While the FSA algorithm has a fixed sampling step of λ/8 between images, the axial resolution can be improved to about 10 nm by interpolation, using for example the least squares method.
  
:Cette relation permet, dans un premier temps, d&#8217;extraire l&#8217;enveloppe des franges d&#8217;interférence à partir de 5 mesures prises le long de l&#8217;axe Z (figure 4.a) et au fur et à mesure que le balayage vertical évolue, on construit progressivement l&#8217;enveloppe des franges pour chaque pixel. L&#8217;étape suivante consiste à détecter le pic l&#8217;enveloppe pour chaque pixel (figure 4.b).
+
====Results and performance====
 
 
<gallery widths=240px heights=191px>
 
File:FSA_1-bis.png
 
<gallery widths=240px heights=172px>
 
File:FSA_2-bis.png
 
</gallery>
 
::Fig. 4: Méthode de détection du pic de la frange d&#8217;interférence par la FSA
 
 
 
 
 
<b> Comparaison&nbsp;: </b> <br/>
 
 
 
:La PFSM a une résolution verticale qui dépend du pas de déplacement de la table piézoélectrique&nbsp;; plus ce pas est petit et meilleure sera sa résolution. Cependant, la réduction du pas d&#8217;échantillonnage entraîne une augmentation de la quantité de données à traiter. La technique de la FSA quant à elle exige que le déphasage entre 2 franges consécutives soit fixe et égal à 90&#176;, ce qui impose un pas de balayage en Z connu et constant (environ 76 nm correspondant à λ/8, avec λ = 610 nm). La résolution de la FSA peut être améliorée, par exemple, par l&#8217;interpolation (moindres carrés) d&#8217;une gaussienne symétrique et adaptée dans le voisinage du pic de l&#8217;enveloppe. La FSA a l&#8217;avantage d&#8217;être moins sensible aux bruits hautes fréquences puisque celles-ci sont éliminées pendant la phase de construction de l&#8217;enveloppe. La FSA permet aussi d&#8217;éliminer le fond continu.
 
 
 
 
 
 
 
====Résultats et performances====
 
 
 
:Une mesure de grande taille (640 x 1024 pixels) "on-line" en utilisant l’algorithme de la PFSM est présentée ci-dessous, montrant le déplacement latéral d’une sonde microfluxgate (sonde magnétique intégrée). La mesure a été effectuée à une cadence de 1,9 images 3D par seconde sur une profondeur de 5 µm avec une résolution axiale de 40 nm. En diminuant la taille de l&#8217;image, la cadence de mesure peut être augmentée. <br/>
 
  
 +
:The following results show the real time "on-line" measurement over a large field size (640 x 1024 pixels) with the PFSM algorithm of a magnetic "microfluxgate" microchip (integrated magnetic probe) being translated laterally at a speed of 20 µm per second by a precision motorised stage.  The measurement rate was 1.9 3D images per second over a depth of 5 µm and with an axial resolution of 40 nm. <br/>
  
 
<gallery widths=286px heights=166px>
 
<gallery widths=286px heights=166px>
File:Flux_Gate_1_-_F-3.png
+
File:Flux_Gate_1_-_F-3.png| Real time measurement of a magnetic probe chip moving sideways at a speed 20 µm/s (I0 : t = 0 s; dx = 0 µm).
<gallery widths=287px heights=164px>
+
File:Flux_Gate_2_-_F-2.png| The eighth 3D image after translation over 84.6 µm  (I8 : t = 4,21 s; dx = 84.6 µm).
File:Flux_Gate_2_-_F-2.png
+
File:Profil_FluxGate_IAlt-2.png| The height image in PFSM containing the measurement data.
 +
File:Profil_FluxGate_Profil_Bis_P-2.png| A corresponding 2D profile of part of the sample, showing a depth of 3.22 µm.
 
</gallery>
 
</gallery>
::Fig. 6: Déplacement de la sonde&nbsp;; (a) I0&nbsp;: t = 0 s&nbsp;;  dx = 0 µm, (b) I8&nbsp;: t = 8/1,9 = 4,21 s&nbsp;;  dx = 36 pixels = 84,6 µm
 
  
 +
:Real time measurements made on the laboratory prototype have validated the use of the PFSM and FSA algorithms and the theoretical performance. The graphical results below for the two algorithms give the measurement rate as a function of depth for different image sizes. For example, for an image size of 640 x 1024 pixels, a rate of several 3D images/s can be achieved. Reducing the image size to 320 x 256 pixels allows this rate to be increased to around twenty 3D images/s. while the resolution of the FSA algorithm is fixed at around 76 nm, that of the PFSM algorithm can be varied. Increasing the step size increases the measurement rate proportionally (but for a lower axial resolution) whereas decreasing the step size decreases the measurement rate (but for a better axial resolution).
  
 
+
<gallery widths=300px heights=300px>
:Nous avons déplacé l&#8217;échantillon à l&#8217;aide d’une platine motorisée XY  de précision. La vitesse de déplacement nominale de la platine est de 20 µm/s.  Dans la figure 5, la sonde s’est déplacée de 84,6 µm (mesuré avec notre logiciel de profilométrie) sur un temps comprenant 8 images 3D, ce qui correspond à 4,21 secondes puisque la cadence de mesure 3D est de 1,9 images par seconde. On arrive alors à une vitesse de déplacement de la platine de 84,6/4,21 = 20,1 µm/s, ce qui correspond à la vitesse nominale. <br/>
+
File:Resultats_PFSM_pas_de_40_nm.png| The theoretical 3D on-line measurement rates of the PFSM algorithm for real time measurement as a function of the depth and the image size (for a step = 40 nm).
 
+
File:Resultats_FSA_pas_de_76_nm.png| The theoretical 3D on-line measurement rates of the FSA algorithm for real time measurement as a function of the depth and the image size (for a step size = 76 nm).
:La mesure quantitative du relief de l’échantillon est une autre information fournie par les images d’altitude. La figure 6 montre le profil de la sonde magnétique intégrée. On observe que la profondeur mesurée est de 3,22 µm. <br/>
 
 
 
 
 
<gallery widths=375px heights=314px>
 
File:Profil_FluxGate_IAlt-2.png</gallery>
 
<gallery widths=350px heights=155px>
 
File:Profil_FluxGate_Profil_Bis_P-2.png
 
 
</gallery>
 
</gallery>
  
::Fig. 6: Mesure du profil de la sonde magnétique
+
====Summary of the CAM 4D system====
 
 
:Des mesures en temps réel ont pu être réalisées au laboratoire et ont permis de valider le fonctionnement des algorithmes de la PFSM et de la FSA et les performances du système (figure 7). Les cadences de mesure d&#8217;images 3D sont données en fonction de la profondeur mesurée pour différentes tailles d&#8217;image. Ainsi, pour une image de 640 x 1024 pixels, il est possible d&#8217;atteindre une cadence 3D de mesure de quelques images par seconde. Avec une réduction de la taille d&#8217;image à 320 x 256 pixels, par exemple, la cadence 3D de mesure peut être augmentée à une vingtaine d’images par seconde. La résolution de la FSA doit être de 76 nm, mais le pas de la PFSM peut varier. Si le pas de la PFSM est augmenté, alors la cadence d’images 3D est elle aussi augmentée. En contrepartie, plus le pas de la PFSM est petit et meilleure sera sa résolution axiale.
 
 
 
 
 
<gallery widths=450px heights=341px>
 
File:Resultats_PFSM_pas_de_40_nm.png</gallery>
 
<gallery widths=450px heights=341px>
 
File:Resultats_FSA_pas_de_76_nm.png
 
</gallery>
 
 
 
::Fig. 7: Les performances du système de mesure en temps réel
 
 
 
 
 
 
 
====Les avantages du système CAM 4D====
 
 
 
Le système de mesure 4D temps réel de l’InESS a l&#8217;avantage d’avoir une grande souplesse en termes de choix de taille d&#8217;images (les grandes tailles sont possibles), de cadence d&#8217;acquisition (caméra rapide pouvant monter à très haute cadence), de profondeur de mesure et de type d&#8217;algorithme employé (PFSM ou FSA). La microscopie par interférométrie 4D telle que développée à l’InESS comporte principalement trois avantages par rapport à la microscopie classique 3D. Le premier est qu’elle permet d’analyser un échantillon plus rapidement qu&#8217;en 3D classique. Le second, qui est le plus important, est qu’elle permet de visualiser et de quantifier des changements de surface en temps réel. Le troisième est que ceci est possible sur de grandes profondeurs d&#8217;analyse.
 
 
 
:Les points forts du système CAM 4D sont énumérés ci-dessous&nbsp;:
 
 
 
*Souplesse
 
 
 
:*Choix de la taille de la surface à analyser (possibilité de grandes tailles)&nbsp;;
 
 
 
:*Choix de la cadence d’acquisition&nbsp;;
 
 
 
:*Choix de la profondeur de mesure&nbsp;;
 
 
 
:*Choix de l’algorithme à appliquer&nbsp;
 
 
 
:*Algorithmes évolutifs&nbsp;: implémentés en logique câblée (FPGA) reprogrammable&nbsp;;
 
 
 
:*Logiciel de gestion modulaire du banc de mesure&nbsp;: développé sous LabView&nbsp;;
 
 
 
:*Logiciel de gestion modulaire du banc de mesure
 
 
 
*Banc constitué de composants standards (microscope, caméra rapide, carte de traitement, etc)&nbsp;;
 
 
 
*Possibilité de déplacer soit l’objectif interférentiel ou soit l’échantillon&nbsp;;
 
 
 
*Mesures 3D en temps réel enregistrables&nbsp;;
 
 
 
*Mesure et caractérisation de structures microscopiques en mouvement périodique ou apériodique&nbsp;;
 
  
:Cette technologie et principalement ces avantages ouvrent donc la voie vers de nouvelles applications.
+
:The 4D microscopy system developed in the CAM 4D project based on a high speed CMOS camera and FPGA processing allows surface roughness and shape to be measured in real time, enabling moving or changing samples to be measured. The technique has the advantages of flexibility in terms of the choice of image size, 3D measurement rate, depth of measurement and algorithm used (PFSM or FSA). The technique opens up new measurement applications.

Latest revision as of 16:25, 11 August 2023

4D Microscopy

The aim of 4D microscopy is to measure and characterize moving or aperiodically changing microscopic structures (MEMS, nanotechnologies, engraving, chemical etching…) using interference microscopy. Our approach is to continuously scan the interference fringes over the whole of the depth of the surface to be measured, to capture the images with a high speed camera and to perform the image processing using highly parallel cabled logic to measure the height of the surface (see « Principle » page). (see « Principe » page).


The CAM 4D project

The first 4D prototype system was financed by the ACO-CNRS project ("La microscopie optique 3D en temps réel à très haute résolution spatiale") and EU INTERREG III project, in which we succeeded in making measurements in real time at a rate of 6 3D images per second over a depth of several µm [A. Dubois et al., European Phys. J.: Appl. Phys., 2002]. The high speed camera developed in the laboratory allowed an acquisition rate of 250 images/s (512x512 pixels) and the processing was performed using an FPGA ("Field Programmable Gate Array") board.
Thanks to the CAM4D project financed by Oséo, we were then able to develop a second prototype based on a high speed CMOS camera (500 i/s full field, 16000 i/s with reduced field) with improved real time performance, up to 25 3D images per second over a depth of several µm.


The measurement system

The prototype consists of two parts. The first one is the Leica DMRX optical microscope equipped with interference objectives (Michelson or Mirau), a light source, a high speed camera, and a piezoelectric vertical translation stage with a range of 100 µm. The latter element is used to scan the fringes over the depth of the sample, the fringes appearing on the camera image of the sample surface. The second part consists of the acquisition board (equipped with a Virtex 2P FPGA Xilinx processor and SRAM or DDR memory) and the PC which controls the translation systems, the image acquisition and storage and the data processing. The whole system has to be carefully synchronised in order for it to function correctly.
  • Layout of 4D microscopy system in the CAM4D project.

  • The 4D microscopy system.

  • The visualisation software for viewing the results of the CAM 4D system.

  • The microscope is placed on a vibration isolation table (SmartTable from NewPort) equipped with a dynamic compensation system to reduce residual vibrations. The scanned fringe images are sent via a « CameraLink » cable to the acquisition board to be processed by the FPGA, where the information about the height at each pixel is extracted. The results are then sent to the PC, where they are visulaised in 3d and analysed. The system has the advantage of being flexible in terms of the choice of the image size, the acquisition rate, the depth to be measured and the type of algorithm used.

    The software for controlling the system, for visualising the results and analysing and storing them were developed in a LabView environment.


    The algorithms

    The algorithms chosen were very compact, requiring only basic operators such as comparators, additions, multiplexers and multipliers that could be easily implemented in the FPGA. Two algorithms for extracting the surface height in real time were developed in VHDL (Very High speed integrated circuit hardware Description Language) and implemented in the FPGA: PFSM (Peak Fringe Scanning Microscopy) and FSA (Five-Sample-Adaptive non linear algorithm).


    PFSM
    The PFSM algorithm is very simple, consisting of detecting the peak intensity of the fringe signal, corresponding to the zero order fringe. This fringe peak is used as a virtual probe plane by detecting the highest intensity value at each pixel along the optical axis to measure the positon of the surface at each point and thus the 3D shape. The smaller the sampling step, the higher is the axial resolution but at the cost of more data to process.
    The PFSM algorithm is well adapted to real time processing on the FPGA since it is fast enough to be applied during the image acquisition. It also has the advantage of being able to vary the axial resolution, typically from 10 nm to 100 nm. The disadvantage of the simplicity is the lack of robustness to variations in background intensity over the scan depth which should not present values higher than the fringe to be detected.
    FSA
    The FSA (five Sample Adapative) algorithm consists of detecting the envelope of the fringes by measuring the fringe visibility at each point along the optical axis with a sliding window of 5 consecutive images with phase steps of 90° (λ/8) between images, corresponding to steps of about 76 nm at an average effective wavelength of λ = 610 nm. The following formula is used to calculate the fringe visibility or modulation:

    This formula provides a simple means of extracting the envelope of the interference fringes along the optical axis, the peak of which gives the position of the surface at a given pixel. The FSA algorithm is more robust than the PFSM algorithm, being less sensitive to variations in background intensity along the optical axis. While the FSA algorithm has a fixed sampling step of λ/8 between images, the axial resolution can be improved to about 10 nm by interpolation, using for example the least squares method.

    Results and performance

    The following results show the real time "on-line" measurement over a large field size (640 x 1024 pixels) with the PFSM algorithm of a magnetic "microfluxgate" microchip (integrated magnetic probe) being translated laterally at a speed of 20 µm per second by a precision motorised stage. The measurement rate was 1.9 3D images per second over a depth of 5 µm and with an axial resolution of 40 nm.
    Real time measurements made on the laboratory prototype have validated the use of the PFSM and FSA algorithms and the theoretical performance. The graphical results below for the two algorithms give the measurement rate as a function of depth for different image sizes. For example, for an image size of 640 x 1024 pixels, a rate of several 3D images/s can be achieved. Reducing the image size to 320 x 256 pixels allows this rate to be increased to around twenty 3D images/s. while the resolution of the FSA algorithm is fixed at around 76 nm, that of the PFSM algorithm can be varied. Increasing the step size increases the measurement rate proportionally (but for a lower axial resolution) whereas decreasing the step size decreases the measurement rate (but for a better axial resolution).

    Summary of the CAM 4D system

    The 4D microscopy system developed in the CAM 4D project based on a high speed CMOS camera and FPGA processing allows surface roughness and shape to be measured in real time, enabling moving or changing samples to be measured. The technique has the advantages of flexibility in terms of the choice of image size, 3D measurement rate, depth of measurement and algorithm used (PFSM or FSA). The technique opens up new measurement applications.