Письменный корпус татарского языка

Эта статья находится на начальном уровне проработки, в одной из её версий выборочно используется текст из источника, распространяемого под свободной лицензией
Материал из энциклопедии Руниверсалис
Письменный корпус татарского языка
URL http://corpus.tatar
Язык (-и) татарский/русский/английский
Расположение сервера Татарстан
Автор Сайхунов М.Р., Ибрагимов Т.И., Хусаинов Р.Р.
Начало работы 2011
Текущий статус Работает и развивается
Рейтинг Alexa  9 905 979 (2 октября 2017)[1]

Пи́сьменный ко́рпус тата́рского языка́ — электронный корпус татарского языка, доступный для онлайн пользования. Корпус предназначен интересующимся системой, состоянием и перспективой татарского языка. Он необходим лингвистам, изучающим татарский язык в рамках корпусной лингвистики.
Сайт открыт 15 марта 2012 года. Текущий адрес http://corpus.tatar Архивная копия от 26 апреля 2016 на Wayback Machine.
Доступен на татарском, русском и английском языках.

Объём корпуса

Объём корпуса с конца 2014 года насчитывает более 116 млн слов, составляющих более 10 млн предложений, число различных словоформ приближается к 1,5 млн.
Тексты в корпусе хранятся в виде отдельных предложений с целью предотвращения их копирования.

Доступ

Доступ к пользованию корпусом является бесплатным.

О создании корпуса

Создание корпуса началось в 2010 году группой энтузиастов. Оно было продиктовано необходимостью разработки системы машинного перевода текстов с татарского на иностранный язык и обратно, а также системы автоматического синтеза и распознавания татарской речи определенной тематики.

Практическая значимость и возможности использования

Корпус может использоваться лингвистами, изучающими татарский язык в рамках корпусной лингвистики, а также при обучении языку и в качестве справочника при составлении различных документов.
Корпус позволяет просматривать контекст, определять частоту вхождений, находить слова с требуемыми свойствами.

Контекстно-статистический поиск

Данный тип поиска Архивная копия от 26 апреля 2016 на Wayback Machine позволяет просматривать отсортированные по частотности правый, левый и семантический контексты искомого слова.
Правый контекст — слова расположенные непосредственно за текущим словом.
Левый контекст — слова расположенные непосредственно перед текущим словом.
Семантический контекст — слова расположенные в одном предложении с текущим словом, то есть имеющие с ним в той или иной степени семантическую связь.

Сложный морфологический поиск

В 2014 году была произведена морфологическая разметка Корпуса. В основу метаязыка грамматических помет положена система «тегов» для тюркских языков, разработанная международным проектом Apertium Архивная копия от 14 апреля 2016 на Wayback Machine. В рамках данного проекта создается система машинного перевода для большого количества языков. Основными аргументами в пользу выбора морфологического таггера Apertium’а для разметки Письменного корпуса являются:
— высокое качество морфологической аннотации;
— абсолютная открытость этого проекта: все исходные коды и наработки публично доступны всем желающим бесплатно.
Разработанная нами в 2015—2016 годах Система сложного морфологического поиска Архивная копия от 26 апреля 2016 на Wayback Machine позволяет производить поиск в Корпусе на основе различных комбинаций таких параметров, как словоформа, лемма, набор морфологических (грамматических) тегов, начало, середина, конец слова с указанием возможных расстояний между лексемами.

Система синтеза татарской речи

На сайте Письменного корпуса татарского языка имеется возможность прослушать как найденные предложения, так и произвольный текст Архивная копия от 26 апреля 2016 на Wayback Machine.

Статистические данные

На сайте Корпуса размещаются различные статистические данные Архивная копия от 26 апреля 2016 на Wayback Machine, которые авторы получают по мере обработки данных.

Недостатки и перспективы развития

  • Отсутствует оффлайн версия корпуса.
  • Нет возможности поиска со снятой омонимией.

Составители

Создателями корпуса являются:

  • Сайхунов М. Р. (кандидат филологических наук, научный сотрудник Института информатики АН РТ)
  • Ибрагимов Т. И. (кандидат филологических наук, доцент кафедры прикладной лингвистики КФУ)
  • Хусаинов Р. Р. (инженер, компания GDC)

При содействии:

  • Республиканского центра развития традиционной культуры
  • Кафедры финно-угорских языков Университета Турку (Финляндия)
  • Компании «RX5»
  • Редакции научно-информационного журнала «Фән һәм Тел»

Литература[2]

Примечания

  1. corpus.tatar Competitive Analysis, Marketing Mix and Traffic - Alexa (англ.). Alexa Internet. — Глобальный рейтинг сайта «Письменный корпус татарского языка». Дата обращения: 2 октября 2017.
  2. Письменный Корпус Татарского Языка. Дата обращения: 22 апреля 2016. Архивировано 25 апреля 2016 года.

Ссылки