In-depth investigation of the effects of different preprocessing strategies on infrared spectroscopic data

Abstract

Whenever collecting experimental data, they may contain several spurious sources of variability which can hinder the extraction of the desired relevant information so that it is rarely the case that they can be processed as such by chemometrics approaches. In recent years, pre-processing techniques has become an integral part of chemometrics modeling with the purpose of providing better endmodels through fundamental knowledge for Near-Infrared (NIR) users. The aim of pre-processing techniques is to improve success of multivariate regression by reducing undesired physical phenomena in the spectra. This thesis describes the theory of present pre-processing techniques and compares the qualitative and quantitative results of their application. Mean centering, scatter-correction methods and spectral derivatives are the instances of those pre-processing techniques used in this thesis. Those techniques and combinations of them have been applied in order to find the best pre-processing strategy. To be able to observe the results and compare the effects of the applied methods, Partial Least Squares and Genetic Inverse Laast Squares are carried out as multivariate calibration methods. When comparing the calibration results of raw data with pre-processing techniques applied data, decreasement standard eror of prediction (SEP) values observed after appliying those techniques, which is good manner. However, better in comparison, t-Test: Paired Two Sample for Means applied. The results demontrates that there is no significant difference within 95% confidence level.

Deneysel veriler toplanırken, istenen ilgili bilgilerin çıkarılmasını engelleyebilecek birkaç sahte değişkenlik kaynağı içerebilirler, bu nedenle kemometrik yaklaşımlarla bu şekilde işlenebilmeleri nadiren olasıdır. Son yıllarda, yakın kızılötesi kullanıcıları için temel bilgiler aracılığıyla daha iyi modeller sağlamak amacıyla, veri ön işleme teknikleri, kemometrik modellemenin ayrılmaz bir parçası haline geldi. Ön işleme tekniklerinin amacı, spektrumdaki istenmeyen fiziksel artıkları azaltarak çok değişkenli regresyonun başarısını arttırmaktır. Bu tez, mevcut ön işleme tekniklerinin teorisini açıklar ve uygulamalarının nitel ve nicel sonuçlarını karşılaştırır. Ortalama merkezleme, saçılım düzeltme yöntemleri ve spektral türevler, bu tezde kullanılan ön işleme tekniklerinin örnekleridir. Bu teknikler ve bunların kombinasyonları, en iyi ön işleme stratejisini bulmak için uygulanmıştır. Sonuçları gözlemleyebilmek ve uygulanan yöntemlerin etkilerini karşılaştırabilmek için kısmi en küçük kareler ve genetik algoritma tabanlı ters en küçük kareler, çok değişkenli kalibrasyon yöntemleri olarak gerçekleştirilmiştir. Ham verilerin kalibrasyon sonuçları, ön işleme teknikleri uygulanan verilerin sonuçları ile karşılaştırıldığında, bu tekniklerin uygulanmasından sonra standart tahminleme hatası (SEP) değerlerinde düşüş gözlemlenmiştir, ki bu sonuçların iyi yönde etkilendiğini göstermektedir. Fakat daha net karşılaştırma yapabilmek amacıyla bağımlı örneklem t-testi uygulanmıştır. Sonuçlar, %95 güven aralığında anlamlı bir fark olmadığını göstermektedir.