Малые языки получают большой инструмент: создан калькулятор, который раскрывает их скрытую сложность

Создан калькулятор сложности малых языков России

Иногда развитие цифровых технологий помогает сохранить не только данные или изображения, но и целые языки. Новый проект исследователей Высшей школы экономики стал важным шагом к тому, чтобы малые языки России получили современные инструменты для анализа, обучения и научных задач. Создан онлайн-калькулятор, который позволяет определять сложность текстов на языках, для которых почти нет цифровых ресурсов. Об этом сообщает пресс-служба ВШЭ.

Как появился калькулятор сложности малых языков

В Центре языка и мозга ВШЭ давно работают над инструментами, которые помогают анализировать тексты и оценивать их удобочитаемость. Ранее специалисты создавали алгоритмы для русского языка, а теперь получили возможность перенести этот опыт на малоресурсные языки России. В первой версии разработчики включили шесть языков: адыгейский, башкирский, бурятский, татарский, осетинский и удмуртский.

Создание такого инструмента стало возможным благодаря накопленным корпусам текстов, частотным словарям и морфологическому анализу. Именно эти данные позволили учесть структурные отличия языков, которые нельзя игнорировать при оценке сложности. Например, полисинтетический адыгейский язык отличается длинными словами и сложной морфологией, что делает невозможным использование классических формул в исходном виде.

Разработчики опирались на наработки Антонины Лапошиной и Марии Лебедевой, создавших ранее калькулятор сложности русских текстов. Теперь этот подход адаптирован для малых языков с учётом их уникальных особенностей.

Особенно важным стало исследование 2025 года Ульяны Петруниной и Нины Здоровой, посвящённое перерасчёту коэффициентов формулы Флеша для адыгейского языка. Оно показало, насколько важно перенастраивать математические модели под каждый конкретный язык, чтобы получить корректные результаты.

Какие параметры учитывает новый инструмент

Калькулятор анализирует тексты сразу по нескольким характеристикам. Такой многоуровневый подход позволяет оценивать сложность с высокой точностью, что особенно важно при работе с образовательными материалами и научными исследованиями.

В алгоритм включены следующие параметры:

• длина и частотность слов на основании корпусов текстов;
• процент слов из списка наиболее употребительных 5 тысяч единиц для каждого языка;
• соотношение частей речи;
• лексическая плотность;
• разнообразие словаря;
• динамичность и описательность текста.

Ключевое новшество — использование формулы удобочитаемости Флеша, адаптированной для каждого языка отдельно. Индекс Флеша традиционно рассчитывается по длине предложений и количеству слогов, но его исходные коэффициенты подходят только для английского языка. Для других языков, особенно с иной морфологией, он искажает результаты.

Поэтому для каждого из малых языков были пересмотрены весовые коэффициенты. Это позволило точно учитывать особенности слоговой структуры, длины слова и частотных характеристик, что раньше было невозможно.

Исследователи подчёркивают, что подобный подход позволяет перенастраивать алгоритм и для других малоресурсных языков, даже если они сильно различаются по типологии.

Зачем нужен калькулятор малых языков и что он меняет

Россия — одна из стран с самым большим языковым разнообразием. По данным Института языкознания РАН, в стране используется около 155 языков. Многие из них имеют статус государственных в своих регионах и играют важную роль для образования, научной работы и культурного наследия.

Однако развитие цифровых инструментов для таких языков часто происходит медленно: они менее представлены в корпусах, словарях и лингвистических базах данных. Из-за этого учёным, педагогам и переводчикам приходится работать с ограниченными ресурсами.

Новый калькулятор частично решает эту проблему. Он позволяет:

• подбирать тексты для обучения с учётом сложности;
• анализировать письменные материалы в научных проектах;
• создавать адаптированные упражнения для учеников и студентов;
• оценивать, насколько трудным будет текст для носителя языка разного уровня;
• поддерживать развитие языков в цифровой среде.

Инструмент становится важным элементом инфраструктуры, необходимой для сохранения малых языков и расширения их использования в деловой, образовательной и научной сферах.

Почему адаптация формулы Флеша стала ключевым шагом

Авторы разработки подчёркивают, что универсальных показателей удобочитаемости не существует. Каждый язык имеет собственную структуру, а длина слова, его морфология и фонетические особенности влияют на восприятие текста.

Например, в адыгейском языке слово может включать множество морфем, что увеличивает количество слогов и меняет показатель сложности. Если использовать стандартный английский коэффициент, такой текст будет оценён как "слишком трудный", хотя носителям языка он может казаться вполне естественным.

Перерасчёт формулы для каждого языка позволяет:

• корректно измерять сложность текстов;
• избегать ложных результатов;
• лучше понимать, какие материалы подходят для изучающих язык;
• учитывать реальную структуру речи.

Именно эта адаптация сделала инструмент уникальным и позволила рассматривать его как универсальную платформу для расширения на новые языки.

Сравнение традиционных и адаптированных инструментов оценки сложности

Чтобы показать разницу в подходах, исследователи сравнили несколько моделей.

Традиционные методы:
• используют универсальные коэффициенты;
• ориентированы на английскую грамматику;
• плохо отражают специфику морфологии малых языков;
• дают искажённые оценки сложности.

Адаптированный калькулятор ВШЭ:
• учитывает частотность слов в каждом языке;
• использует переработанные коэффициенты формулы Флеша;
• анализирует структуру частей речи;
• корректно оценивает тексты даже сложной морфологии.

Сравнение показывает, что переход к специализированным инструментам позволяет увеличить точность анализа и лучше поддерживать языковое разнообразие.

Плюсы и минусы новой разработки

Новый калькулятор уже показывает высокую эффективность, однако исследователи отмечают и ограничения.

Плюсы:
• учитывает особенности каждого языка;
• основан на корпусных данных;
• подходит для образовательных и научных задач;
• легко расширяется на другие языки;
• помогает сохранять малые языки в цифровой среде.

Минусы:
• требует больших корпусных данных, которые есть не у всех языков;
• сложная настройка модели для новых языков;
• в первой версии поддержан ограниченный набор языков;
• инструмент нуждается в дальнейшей валидации на разных жанрах текстов.

Несмотря на эти особенности, исследователи уверены, что проект станет основой для новых цифровых инструментов в области лингвистики.

План расширения и значение инструмента для будущих исследований

По словам разработчиков, в следующих версиях планируется расширение списка языков. Добавлять будут не только российские малоресурсные языки, но и те, которые мало представлены в мировой лингвистике. Такой подход поможет создавать новые образовательные программы и исследования, а также поддерживать разнообразие языков, находящихся под угрозой исчезновения.

"Наш инструмент позволяет исследователям и педагогам подбирать материалы с учетом их лингвистической сложности, что особенно важно для исследований и преподавания с ограниченным количеством ресурсов на данных языках", — отмечает Нина Здорова, один из авторов инструмента.

Инструмент может стать важной опорой для дальнейших научных проектов, а также для работы учителей, переводчиков, составителей учебников и лингвистов, занимающихся документированием и сохранением языков.