Please use this identifier to cite or link to this item:
https://hdl.handle.net/11147/11256
Title: | Doğal dil çıkarımı modellerinde BERT vektörlerinin başarım değerlendirmesi | Other Titles: | Performance evaluation of BERT vectors on natural language inference models | Authors: | Oğul, İskender Ülgen Tekir, Selma |
Keywords: | BERT Decomposable Attention ESIM Natural Language Inference SNLI |
Publisher: | Institute of Electrical and Electronics Engineers Inc. | Abstract: | Natural language inference aims to classify the binary relation between opinionated sentences as a contradiction, entailment, or neutral. To accomplish the task, classifiers transform textual data into numerical representations called vectors or embeddings. In this study, both static (Glove, OntoNotes5) and contextual (BERT) word embedding methods are used. Classifying the logical relationships between opinionated sentences is difficult. These sentences have complex grammatical structures to convert them into logical representations, and traditional natural language processing solutions are insufficient to meet the requirement. This study uses Decomposable Attention and Advanced LSTM for Natural Language Inference (ESIM) deep learning methods to perform this classification. The best accuracy score is achieved with 88% using ESIM - BERT on the SNLI corpus. © 2021 IEEE. Doğal dil çıkarımı, düşünce ifade eden cümlelerin arasındaki ilişkiyi; karşıtlık, gerekseme veya tarafsızlık olarak sınıflandırmayı hedefler. Sınıflandırma görevini gerçekleştirmek için metinsel kaynaklar, vektör ya da gömme olarak adlandırılan matematiksel gösterimlere dönüştürülür. Bu çalışmada, hem statik (Glove, OntoNotes5) hem de bağlamsal (BERT) kelime gömme yöntemleri kullanılmıştır. Fikirsel cümleler arasındaki mantıksal ilişkilerin sınıflandırılması zordur zira cümleler karmaşık gramer yapılarına sahiptir ve cümlelerin işlenerek mantıksal gösterimlere dönüştürülmesi geleneksel doğal dil işleme çözümleri ile yetersiz kalmaktadır. Bu çalışma, sınıflandırma görevini gerçekleştirmek için ayrıştırılabilir ilgi ve doğal dil çıkarımı için gelişmiş LSTM (ESIM) derin öğrenme modellerini kullanmıştır. En iyi sonuç olan %88 doğruluk değeri SNLI veri kümesi üzerinde ESIM-BERT ile elde edilmiştir. |
Description: | 29th IEEE Conference on Signal Processing and Communications Applications, SIU 2021 -- 9 June 2021 through 11 June 2021 | URI: | http://doi.org/10.1109/SIU53274.2021.9478044 https://hdl.handle.net/11147/11256 |
ISBN: | 9781665436496 |
Appears in Collections: | Computer Engineering / Bilgisayar Mühendisliği Scopus İndeksli Yayınlar Koleksiyonu / Scopus Indexed Publications Collection WoS İndeksli Yayınlar Koleksiyonu / WoS Indexed Publications Collection |
Files in This Item:
File | Size | Format | |
---|---|---|---|
Performance_Evaluation.pdf | 571 kB | Adobe PDF | View/Open |
CORE Recommender
Page view(s)
354
checked on Sep 2, 2024
Download(s)
344
checked on Sep 2, 2024
Google ScholarTM
Check
Altmetric
Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.