Общее языкознание, вопросы языкознания
Принцип аналогии в морфологии

Принцип аналогии в морфологии

В работе Белоногова Г. Г. и Зеленкова Ю. Г. описывается принцип построения алгоритма морфологического анализа текстов на основе принципа аналогии. Данный принцип используется в системах орфографического контроля русских текстов, системах автоматического индексирования документов и системах машинного перевода текстов с русского языка на английский и с английского языка на русский. Производительность программы на компьютере с процессором от 386 и выше составляет около 400 слов/с.

При автоматической обработке текста возникает проблема “новых“слов. Для синтаксического анализа и синтеза необходимо знать грамматические характеристики слов. Если слова в словаре нет, то морфологический анализ не может быть выполнен, а следовательно не могут быть определены грамматические характеристики слова.

Для того, чтобы определить грамматические характеристики слов без словаря, Белоногов предложил принцип аналогии. Он основан на том, что существует сильная корреляционная связь между грамматическими характеристиками слов и буквенным составом их концов. Например: организация, приватизация, концентрация имеют ж. р., им. п. и ед. ч. ; работают, понимают, привлекают - это глаголы в 3-ем лице мн. ч. и т.д.

Принцип аналогии проверялся на ряде индоевропейских языков: (русский, болгарский, латышский, испанский, английский) и оказался эффективным. Сначала он применялся для определения грамматических характеристик слов, не включенных в машинный словарь. Затем возникла идея при проведении морфологического анализа отказаться от машинного словаря.

Если по текстам большого объема составить словарь словоформ и назначить каждой словоформе некоторые грамматические признаки, а затем преобразовать данный словарь в обратный словарь словоформ, то можно обнаружить, что многие участки словаря имеют одинаковые наборы признаков.

Обратный словарь словоформ представляет собой список словоформ с такими характеристиками как признак длинны грамматического окончания, номер флективного класса (типа словоизменения) и числовой индекс, характеризующий такие признаки как “глагольность“, “местоименность” , “сравнительная степень” . Например: масштаба 01/001/01 служба 01/056/01 возникшие 02/105/10 батальон 00/021/01 рассчитывая 00/152/10 Обратный словарь используется для автоматического морфологического анализа текстов, если составляющие их словоформы отождествлять со словоформами словаря и приписывать им грамматическую информацию, указанную в словаре. Словоформам текста, которые не находятся в словаре, можно приписывать грамматическую информацию тех словоформ словаря, концы которых в максимальной степени совпадают с концами этих новых словоформ текста.

Объем обратного словаря можно сократить, если на всех его участках оставить по две словоформы: начальную и конечную. Более того, из этих двух словоформ можно оставить только одну, и если словоформа текста не совпадет ни с одной словоформой обратного словаря, то ей приписывается информация непосредственно предшествующей словоформы этого словаря.

Данный сокращенный словарь можно еще сократить, если исключить из него начальные буквы словоформ, не оказывающие влияние на результаты морфологического анализа. При этом у каждой пары рядом стоящих словоформ оставляются справа совпадающие конечные буквосочетания и еще по одной букве, которые не совпадают. Например: аба 01/001/01 еба 01/044/01 неба 01/071/01 авшие 02/105/10 тальон 00/021/01 тывая 00/152/10 После выполнения всех операций объем словаря сокращается в 8 раз. На точность первоначально включенных в словарь словоформ это не повлияет, а точность анализа остальных словоформ русского языка будет достаточно высокой.

Для морфологического анализа текстов на основе метода аналогии достаточно располагать обратным словарем концов слов. Но авторы разработки сделали еще “Словарь служебных и коротких слов” . В этот словарь были включены сначала предлоги, местоимения, частицы, союзы и короткие слова до 5 букв. Затем в него вошли также словоформы, которые по методу аналогии анализировались неверно. В результате этот словарь увеличился до 11 тысяч словоформ.

Таким образом, в процессе морфологического анализа словоформы ищутся в словаре “Служебных и коротких слов” , а затем в словаре концов словоформ. Результаты анализа, полученные по первому словарю, считаются более надежными, и словоформы, найденные в этом словаре, дальнейшей обработке не подвергаются.

В настоящее время вероятность правильного анализа слов при обработке текстов любой тематики превышает 99%.

В разработке данной системы наряду с авторами данной статьи принимали участие научные сотрудники отдела лингвистических исследований ВИНИТИ: А. П. Новоселов, Е. Ю. Рыжова, С. А. Самоделкина, Ал-др А. Хорошилов, Ал-сей А. Хорошилов, Е. Г. Дружинина.


просмотров: 298
Search All Ebay* AU* AT* BE* CA* FR* DE* IN* IE* IT* MY* NL* PL* SG* ES* CH* UK*
Origin by Dan Brown (2017, Hardcover)

$7.99
End Date: Friday Dec-15-2017 0:16:26 PST
Buy It Now for only: $7.99
|
We're All Wonders by R. J. Palacio eBooks

$27.94
End Date: Friday Dec-22-2017 11:16:55 PST
Buy It Now for only: $27.94
|
A Game of Thrones 5-Book Boxed Set by George R. R. Martin's

$64.45
End Date: Thursday Nov-23-2017 8:47:20 PST
Buy It Now for only: $64.45
|
Outlander Series Volumes 1-8 Book Set By Diana Gabaldon Mass Market w/ Slipcase

$10.85
End Date: Friday Dec-15-2017 8:16:30 PST
Buy It Now for only: $10.85
|
Search All Amazon* UK* DE* FR* JP* CA* CN* IT* ES* IN* BR* MX
Search Results from «Озон» Художественная литература, анонсы.
 
Донцова Дарья Аркадьевна Привидение в кроссовках
Привидение в кроссовках

Луганцева Татьяна Игоревна Ангел на каникулах
Ангел на каникулах
Яна Цветкова никогда не знала, где и как закончится ее день. Вот и поход на телевидение, обещавший Яне карьеру телезвезды, обернулся тем, что она стала главным посмешищем на ток-шоу "Жертвы анорексии в возрасте". Лучшая подруга утешала Яну как могла, но вышло только хуже – обе женщины оказались на несанкционированной "вечеринке" в местном морге. А поутру выяснилось, что в море случился пожар, а главный "диджей" – патологоанатом – лежит в реанимации. С этого момента неприятности посыпались на Цветкову одна за другой. Не иначе как ее ангел-хранитель отправился на каникулы…...

Татьяна Устинова Вселенский заговор
Вселенский заговор
Об авторе: Татьяна Устинова - признанный мастер остросюжетных психологических романов, первая среди лучших авторов детективного жанра. Ее имя знакомо каждому, кто хоть раз заходил в книжный магазин, смотрел телевизор или читал популярную прессу.
Тираж книг Татьяны Устиновой давно превысил отметку в десятки миллионов экземпляров. Жанр: Российский детектив.
О книге:
Они просто были влюблены друг в друга. Они всего лишь хотели немного приоткрыть завесу неизведанных тайн Вселенной. Но мироздание подкинуло им труп ученого-уфолога и несколько неприметных улик, которые говорят о том, что в его смерти загадок больше, чем звезд в ночном небе... Особенности: 
"Вселенский заговор" - книга в лучших традициях Татьяны Устиновой: увлекательный детективный сюжет с запутанной интригой и непредсказуемым финалом, мастерский литературный слог, бездна житейской мудрости и, конечно же, красивая история чистой и искренней любви....

Дарья Донцова Дама с коготками
Дама с коготками
Веселое празднование Нового года внезапно завершается трагедией. При странных обстоятельствах умирает хозяйка дома. Родственники погибшей спешат замять преступление. Тогда подруга убитой Даша Васильева затевает собственное расследование. Одна за другой отпадают версии. Так кто же преступник? Свекровь? Муж? Лучшие друзья? Или непонятно откуда появившаяся сестра? Единственное, в чем твердо уверена Даша - убийца где-то рядом......

Лейла Алиева Если б звезды ступеньками стали
Если б звезды ступеньками стали
В этой книге собраны лучшие стихи Лейлы Алиевой. Лейла Алиева родилась 3 июля 1985 г. в Москве. Общественный деятель, главный редактор журнала «Баку», вице-президент Фонда Гейдара Алиева, учредитель организаций IDEA и АМОР....

Анна и Сергей Литвиновы Та самая Татьяна
Та самая Татьяна
?Блестящая литературная стилизация! Неожиданное продолжение гениального пушкинского романа "Евгений Онегин"! Анна и Сергей Литвиновы провели свое расследование и пришли к совершенно парадоксальному выводу: Онегин вовсе не убивал Ленского на дуэли! Одновременно с выстрелом Евгения раздался еще один, от которого и погиб молодой поэт. Но кто стрелял? Выяснить это и взялся Евгений, когда Татьяна все же ответила ему взаимностью...
Все, кто гадал и строил предположения, как дальше сложились судьбы героев романа, наконец-то узнают об этом!...

Тамоников Александр Александрович Подразделение "Z"
Подразделение "Z"
Ученые, работающие на террористов, изобрели и успешно испытали в Африке новое психотропное оружие, под воздействием которого большие группы людей теряют над собой контроль и уничтожают друг друга. Собравшиеся на экстренное совещание представители шести государств принимают решение о создании объединенного отряда особого назначения "Z" под командованием подполковника Седова. Это подразделение немедленно отправляется в Африку для поиска и уничтожения лаборатории и самого психотропного оружия. Времени почти не осталось. Последние разведданные свидетельствуют о том, что группировка талибов уже готовится приобрести несколько экземпляров чудовищного оружия…...

 Пробуждение Левиафана
Пробуждение Левиафана
Человечество успешно колонизировало Солнечную систему. Марс, Луна и Пояс Астероидов уже заселены, но звезды по-прежнему таят немало опасностей. Водовоз "Кентербери", транспортирующий лед из колец Сатурна к станциям Пояса Астероидов, во время очередного рейса засекает сигнал бедствия от корабля "Скопули". Прибыв на место, экипаж "Кентербери" не обнаруживает на его борту ни одной живой души. Хуже того, спасательная миссия неожиданно превращается в гонку на выживание. Капитан Джеймс Холден и уцелевшие члены его команды становятся обладателями смертоносной тайны. А на станции Церера в Поясе Астероидов детектив Миллер начинает поиски пропавшей девушки. Расследование приводит сначала к "Скопули", а дальше — к Джеймсу Холдену. Исчезновение Джули Мао становится ключом к разгадке чудовищного преступления, заказчики которого не постесняются развязать полномасштабную войну между Землей и Марсом, чтобы достичь своих целей....

 Защитники. Том 1
Защитники. Том 1

Лемир Дж. Зеленая Стрела. Книга 2. Война посторонних
Зеленая Стрела. Книга 2. Война посторонних
Едва придя в себя после сражения с Графом Вертиго, Зеленая Стрела вновь отправляется на проклятый остров уже вместе с Шадо. Им нужна тотемная Стрела, за которой охотится Комодо. Только разыскав ее, они сумеют спасти сводную сестру Оливера – Эмико. Однако Квин и не подозревает, что на острове откроется правда, которую он предпочел бы не знать. Эта правда даст начало большой войне, войне Посторонних. Но кто же защищает Сиэтл, пока Оливер гоняется за призраками прошлого? Сумеют ли его друзья выстоять в схватке с Ричардом Драконом? Зеленая Стрела не может подвести город. Только не в этот раз. Получивший высокие оценки сюжет, созданный высококлассной творческой командой сценариста ДЖЕФФА ЛЕМИРА («СЛАДКОЕЖКА») и художника АНДРЕА СОРРЕНТИНО («Я, ВАМПИР»), полностью переворачивает наше представление о Зеленой Стреле. В книгу включены выпуски: 1-й «Конец будущего. Зеленая Стрела», 4-й «Тайное происхождение. Зеленая Стрела», а также выпуски 27–34 «ЗЕЛЕНОЙ СТРЕЛЫ»....

2008 Copyright © BookPoster.ru Мобильная Версия v.2015 | PeterLife и компания
Пользовательское соглашение использование материалов сайта разрешено с активной ссылкой на сайт
Рейтинг@Mail.ru Rambler's Top100 Яндекс.Метрика Яндекс цитирования