Общее языкознание, вопросы языкознания
Принцип аналогии в морфологии

Принцип аналогии в морфологии

В работе Белоногова Г. Г. и Зеленкова Ю. Г. описывается принцип построения алгоритма морфологического анализа текстов на основе принципа аналогии. Данный принцип используется в системах орфографического контроля русских текстов, системах автоматического индексирования документов и системах машинного перевода текстов с русского языка на английский и с английского языка на русский. Производительность программы на компьютере с процессором от 386 и выше составляет около 400 слов/с.

При автоматической обработке текста возникает проблема “новых“слов. Для синтаксического анализа и синтеза необходимо знать грамматические характеристики слов. Если слова в словаре нет, то морфологический анализ не может быть выполнен, а следовательно не могут быть определены грамматические характеристики слова.

Для того, чтобы определить грамматические характеристики слов без словаря, Белоногов предложил принцип аналогии. Он основан на том, что существует сильная корреляционная связь между грамматическими характеристиками слов и буквенным составом их концов. Например: организация, приватизация, концентрация имеют ж. р., им. п. и ед. ч. ; работают, понимают, привлекают - это глаголы в 3-ем лице мн. ч. и т.д.

Принцип аналогии проверялся на ряде индоевропейских языков: (русский, болгарский, латышский, испанский, английский) и оказался эффективным. Сначала он применялся для определения грамматических характеристик слов, не включенных в машинный словарь. Затем возникла идея при проведении морфологического анализа отказаться от машинного словаря.

Если по текстам большого объема составить словарь словоформ и назначить каждой словоформе некоторые грамматические признаки, а затем преобразовать данный словарь в обратный словарь словоформ, то можно обнаружить, что многие участки словаря имеют одинаковые наборы признаков.

Обратный словарь словоформ представляет собой список словоформ с такими характеристиками как признак длинны грамматического окончания, номер флективного класса (типа словоизменения) и числовой индекс, характеризующий такие признаки как “глагольность“, “местоименность” , “сравнительная степень” . Например: масштаба 01/001/01 служба 01/056/01 возникшие 02/105/10 батальон 00/021/01 рассчитывая 00/152/10 Обратный словарь используется для автоматического морфологического анализа текстов, если составляющие их словоформы отождествлять со словоформами словаря и приписывать им грамматическую информацию, указанную в словаре. Словоформам текста, которые не находятся в словаре, можно приписывать грамматическую информацию тех словоформ словаря, концы которых в максимальной степени совпадают с концами этих новых словоформ текста.

Объем обратного словаря можно сократить, если на всех его участках оставить по две словоформы: начальную и конечную. Более того, из этих двух словоформ можно оставить только одну, и если словоформа текста не совпадет ни с одной словоформой обратного словаря, то ей приписывается информация непосредственно предшествующей словоформы этого словаря.

Данный сокращенный словарь можно еще сократить, если исключить из него начальные буквы словоформ, не оказывающие влияние на результаты морфологического анализа. При этом у каждой пары рядом стоящих словоформ оставляются справа совпадающие конечные буквосочетания и еще по одной букве, которые не совпадают. Например: аба 01/001/01 еба 01/044/01 неба 01/071/01 авшие 02/105/10 тальон 00/021/01 тывая 00/152/10 После выполнения всех операций объем словаря сокращается в 8 раз. На точность первоначально включенных в словарь словоформ это не повлияет, а точность анализа остальных словоформ русского языка будет достаточно высокой.

Для морфологического анализа текстов на основе метода аналогии достаточно располагать обратным словарем концов слов. Но авторы разработки сделали еще “Словарь служебных и коротких слов” . В этот словарь были включены сначала предлоги, местоимения, частицы, союзы и короткие слова до 5 букв. Затем в него вошли также словоформы, которые по методу аналогии анализировались неверно. В результате этот словарь увеличился до 11 тысяч словоформ.

Таким образом, в процессе морфологического анализа словоформы ищутся в словаре “Служебных и коротких слов” , а затем в словаре концов словоформ. Результаты анализа, полученные по первому словарю, считаются более надежными, и словоформы, найденные в этом словаре, дальнейшей обработке не подвергаются.

В настоящее время вероятность правильного анализа слов при обработке текстов любой тематики превышает 99%.

В разработке данной системы наряду с авторами данной статьи принимали участие научные сотрудники отдела лингвистических исследований ВИНИТИ: А. П. Новоселов, Е. Ю. Рыжова, С. А. Самоделкина, Ал-др А. Хорошилов, Ал-сей А. Хорошилов, Е. Г. Дружинина.


просмотров: 269
Search Results from Ebay.US* DE* FR* UK
Wonder by R. J. Palacio, 2012 Hardcover, New, Free Shipping

$26.49
End Date: Friday Oct-13-2017 11:24:45 PDT
Buy It Now for only: $26.49
|
A Game of Thrones 5-Book Boxed Set by George R. R. Martin's

$14.89
End Date: Monday Oct-16-2017 0:30:48 PDT
Buy It Now for only: $14.89
|
It: A Novel, Stephen King Paperback 2016

$86.00
End Date: Saturday Oct-14-2017 0:03:04 PDT
Buy It Now for only: $86.00
|
A Series of Unfortunate Events Box: The Complete Wreck (Books 1-13) - Hardcover

$6.94
End Date: Thursday Sep-28-2017 10:38:20 PDT
Buy It Now for only: $6.94
|
Search Results from «Озон» Художественная литература, анонсы.
 
Брэдбери Рэй 451' по Фаренгейту
451' по Фаренгейту
? Можно ли представить себе мир, в котором нет книг? Когда держать книги дома, читать их — опасно, ибо преследуется по закону? Когда интерактивное телевидение успешно служит всеобщему оболваниванию, карательная психиатрия решительно разбирается с редкими инакомыслящими, а на охоту за неисправимыми диссидентами выходит электрический пес? "451° по Фаренгейту" — одна из самых известных и самых читаемых книг в мире. И это залог того, что вымысел Брэдбери никогда не станет реальностью....

Пришвин Михаил Михайлович; Бианки Виталий Валентинович; Паустовский Константин Георгиевич; Астафьев Белолобый. Рассказы о животных
Белолобый. Рассказы о животных
Рассказы о животных - это мощнейшее средство научить ребенка сочувствовать, переживать за слабое, беззащитное существо. И даже если это матерая белогрудка из рассказа В.Астафьева, сочувствие к ней и ее котятам оказывается сильнее, чем к человеку. В книгу "Белолобый. Рассказы о животных" вошли произведения В.Бианки, М.Пришвина и других писателей-натуралистов, которые входят в программу чтения в начальной школе....

Фаулз Джон Волхв
Волхв

Давид Лагеркранц Девушка, которая искала чужую тень
Девушка, которая искала чужую тень
"Девушка с татуировкой дракона" возвращается в пятом романе культовой серии MILLENNIUM - "Девушка, которая искала чужую тень".
О книге:
Лисбет Саландер вновь объединяется с журналистом Микаэлем Блумквистом - на этот раз чтобы выяснить подробности об экспериментах, которые проводили много лет назад шведские ученые. Их целью было выяснить, как формируется личность в разных условиях, и потому они взялись изучать детей, в том числе Лисбет и ее сестру. Прошло время, но организаторы исследования живы и здоровы - и Лисбет это совершенно не устраивает.
Жанр: детектив, триллер.
Особенности: Давид Лагеркранц блестяще продолжает серию, начатую Стигом Ларссоном. Жестокие зловещие сюжеты, неизменная интрига, захватывающее повествование - из этих слагаемых складывается книга, от которой невозможно оторваться. Кроме того, именно в этом романе суждено погибнуть одному из основных персонажей серии.
Об авторе:
Давид Лагеркранц - известный шведский журналист и публицист. Мировую известность ему принесла биография знаменитого шведского футболиста Златана Ибрагимовича. В 2013 году издательство Norstedts поручило Давиду продолжить культовую серию романов о "девушке с татуировкой дракона" покойного журналиста и писателя Стига Ларссона. ....

Видинеев Дмитрий Занавес упал
Занавес упал
?У Артура было все: шикарный особняк, легкие деньги, любовницы, прекрасная семья, дочурка. Удовлетворял любую похоть, не думая о последствиях. Но как-то не очень складно отдохнул с приятелем и нечаянно убил девушку. Братья убитой разыскали Артура и очень жестоко отмстили, лишив жизни его дочь. Мать убитого ребенка – милая и ласковая женщина — мгновенно превратилась в кровожадное чудовище и перехватила эстафету мести. Так жестокость одних породила жажду мести у других, но вновь пролитая кровь не заглушила конфликт, а втянула в кровавое месиво третьих. И вот уже месть, словно зараза, расползается среди людей все дальше и дальше, и остановить эту экспансию ненависти невозможно. Потому что ненавистью, исключительно ненавистью, питается сама Гроза......

 Рождественские истории
Рождественские истории
?Сборник рождественских историй известных зарубежных авторов — трогательных, сказочных, немного забавных, немного грустных — лучший подарок к празднику....

Гарный У. Руки оторву!
Руки оторву!
?Продолжение увлекательного и потрясающе смешного романа "Ни слова правды"! Козлоголовый демон, отравивший княжичью стражу волшебным дымком, едва не расстроил планы Василия, занятого поисками своего меча Тричара, который пропал вместе с дружинником Сивухой. Пришлось Василию на пару с приятелем, троллем Тве, завалиться в трактир "Сивый причал", где внезапно обнаружился мертвецки пьяный Сивуха. Однако до обретения желанного Тричара было еще далеко......

Константин Бадигин Константин Бадигин. Собрание сочинений в 5 томах (эксклюзивное подарочное издание)
Константин Бадигин. Собрание сочинений в 5 томах (эксклюзивное подарочное издание)
Переплет ручной работы изготовлен из натуральной кожи по старинной европейской технологии XVIII века.
Блинтовое и золотое тиснение переплета.
Трехсторонний золотой обрез.
Каждый том дополняет шелковое ляссе....

 Человек-Паук против Зловещей Шестерки. Том 1
Человек-Паук против Зловещей Шестерки. Том 1

Донцова Дарья Аркадьевна Гадюка в сиропе
Гадюка в сиропе
Везет же мне на приключения! Я, Евлампия Романова, чтобы не сойти с ума от безделья, нанялась экономкой в семью маститого писателя детективных романов Кондрата Разумова. Буквально через неделю его застрелил собственный сынишка, играя с папой в войну. А вскоре арестовали жену Кондрата Лену по подозрению в организации убийства. В вину Лены я не верила. И моя жизнь снова превратилась в самый настоящий детектив…...

2008 Copyright © BookPoster.ru Мобильная Версия v.2015 | PeterLife и компания
Пользовательское соглашение использование материалов сайта разрешено с активной ссылкой на сайт
Рейтинг@Mail.ru Rambler's Top100 Яндекс.Метрика Яндекс цитирования