Какие скрытые закономерности управляют развитием 22 языков мира?
Исследователи из Фуданьского университета, Гарварда и Стоуни-Брук проанализировали 22 языка — от английского до исландского и китайского — и обнаружили, что все они подчиняются единой статистической закономерности. Вопреки представлению о хаотичном развитии лексики, математика выявила скрытый порядок: слова группируются по «популярности», новые термины возникают вспышками, а иерархия значений остаётся одинаковой независимо от того, говорите вы на русском или на суахили. Работа опубликована в Proceedings of the Royal Society B Biological Sciences.
Как нейросети заглянули в историю слов
Чтобы понять механизмы языковой эволюции, команда учёных объединила методы машинного обучения с классической пространственной статистикой. С помощью NLP-моделей каждое слово превратили в числовой вектор — так называемое word embedding, которое задаёт точку в многомерном семантическом пространстве. Чем ближе друг к другу расположены точки, тем ближе смысл слов. Такой подход позволил впервые математически строго измерить «расстояния» между понятиями в 22 языках на временном отрезке от Средневековья до наших дней.
Авторы статьи опубликовали результаты после семи лет работы. Как отметил соавтор Сергей Верстюк, они объединили данные по лексике, дошедшие до нас из Средневековья, с современными алгоритмами пространственного анализа, которые раньше применялись в географии и экологии.
Три универсальных правила, общих для всех языков
Первый вывод: в каждом языке частотные слова (вроде «быть», «иметь», «человек») образуют плотные кластеры. Популярные слова «любят» других популярных соседей — они группируются в семантическом пространстве, а редкие термины рассеяны по периферии. Это напоминает структуру человеческих сообществ: богатые живут рядом с богатыми, редкие виды — изолированно.
Вторая закономерность — иерархия значений. Слова выстраиваются в древовидную структуру, где от корней (базовые понятия) отходят ветви (специализированные термины). И эта иерархия оказалась одинаковой для всех исследованных языков. Третье открытие касается появления новых слов: они рождаются не поодиночке, а «пачками» — вспышками инноваций, как если бы в языке наступали периоды активного словотворчества, схожие с эволюционными взрывами в биологии.
Кроме того, учёные подтвердили действие так называемого закона Тейлора для лексики. Ранее этот степенной закон описывал зависимость между средним и дисперсией численности видов в экологии. Теперь выяснилось, что он применим и к словам: соотношение встречаемости и разброса значений подчиняется той же математической формуле на протяжении веков.
Простая модель, объясняющая сложную эволюцию
Команда построила стохастическую модель, которая воспроизводит все выявленные закономерности. Её ядро — механизм кумулятивного преимущества (тот же, что объясняет «богатые становятся богаче» в экономике) в сочетании с распределением фон Мизеса–Фишера на сфере в 300-мерном семантическом пространстве. В результате модель не только воспроизводит классический степенной закон Ципфа для частотности слов, но и предсказывает их взаимное расположение в семантическом поле.
«Мы построили удивительно простую модель, которая объясняет, как слова распределяются не в одном измерении, а сразу в 300 измерениях и во времени», — пояснил Верстюк.
Это означает, что за видимым разнообразием языков стоит единый математический сценарий. Учёным удалось найти процесс, который порождает лексику любого человеческого языка.
Культурная эволюция подчиняется тем же законам?
Открытие имеет не только лингвистическое значение. Если структура словаря универсальна, то, возможно, другие аспекты человеческой культуры — технологии, право, искусство — тоже следуют аналогичным математическим шаблонам. Авторы исследования намерены проверить эту гипотезу с помощью AI-эмбеддингов, которые позволяют «оцифровать» не только язык, но и исторические процессы.
«Мы по-прежнему воодушевлены возможностью использовать AI-эмбеддинги как инструмент для фундаментальных исследований культурной эволюции, а не только для создания технологий», — подчеркнул Стивен Скьена, старший автор работы.
Пока что остаётся открытым вопрос: почему разные народы, не связанные общей историей, придумывают слова по одним и тем же правилам? Возможно, человеческий мозг накладывает на язык свои структурные ограничения — и математика лишь выявляет то, что было невидимо две тысячи лет.
