Sentence Segmentation from Unformatted Text using Language Modeling and Sequence Labeling Approaches

Iosifov, Ievgen та Iosifova, Olena та Sokolov, Volodymyr (2020) Sentence Segmentation from Unformatted Text using Language Modeling and Sequence Labeling Approaches 2020 IEEE International Conference on Problems of Infocommunications. Science and Technology (PIC S&T), 1 (1). с. 335-337. ISSN 978-172819177-5

Текст program_picst20.pdf Download (533kB)

Анотація

Current research devoted to the Natural Language Processing problem of sentence segmentation from raw text. The focus was directed to the task of segmentation of auto-generated transcripts for videos that do not have any punctuation and segmentation. Two general approaches to solve the problem of sentence segmentation were proposed and experiments concluded on a comparison of results of pre-trained transformer-based models. Research on how different approach of solving problem affects results were carried out. As a result, the sequence labeling approach turned out to be the most suitable.

Тип елементу :	Стаття
Ключові слова:	fine-tuning; natural language process; NLP; sentence segmentation component; transformer
Типологія:	Це архівна тематика Київського університету імені Бориса Грінченка > Статті у наукометричних базах > Scopus
Підрозділи:	Це архівні підрозділи Київського університету імені Бориса Грінченка > Факультет інформаційних технологій та математики > Кафедра інформаційної та кібернетичної безпеки імені професора Володимира Бурячка
Користувач, що депонує:	Павло Миколайович Складанний
Дата внесення:	13 Вер 2021 07:50
Останні зміни:	13 Вер 2021 07:50
URI:	https://elibrary.kubg.edu.ua/id/eprint/37097

Actions (login required)

Перегляд елементу