Источники данных
Открытые наборы данных, на которых основаны словари и таблицы спряжения глаголов CoolPan: авторы, лицензии и внесённые изменения.
Данные о спряжении глаголов иврита
Данные о спряжении глаголов иврита основаны на Hebrew Verb Lists, созданных Эраном Томером (Eran Tomer) в рамках магистерской диссертации «Automatic Hebrew Text Vocalization» в Университете Бен-Гуриона под руководством проф. Михаэля Эльхадада (Michael Elhadad).
- Авторские права:
- © Eran Tomer (Эран Томер)
- Лицензия:
- CC BY 4.0
- Источник:
- github.com/NNLP-IL/Hebrew-Resources
- Данные изменены:
- импортированы в базу данных, формы PRESENT дедуплицированы по лицу, добавлена привязка к лексемам.
Английская лексика и значения слов
Данные английского словаря (леммы, части речи, значения слов и их определения) основаны на Open English WordNet, издание 2025 года — поддерживаемом сообществом форке и продолжении лексической базы Princeton WordNet.
- Лицензия:
- CC BY 4.0
- Источник:
- github.com/globalwordnet/english-wordnet
- Атрибуция:
- Этот ресурс распространяется по лицензии CC BY 4.0 с указанием авторства как Princeton WordNet, так и команды Open English Wordnet.
- Данные изменены:
- импортированы в базу данных; значения привязаны к лексемам и ранжированы по частоте (см. запись Princeton WordNet ниже).
Уровни сложности CEFR (английский)
Английские слова размечены уровнем сложности CEFR (A1–C2) с использованием Words-CEFR-Dataset, который сопоставляет английские слова (по части речи) с их уровнем владения языком.
- Лицензия:
- MIT
- Источник:
- github.com/Maximax67/Words-CEFR-Dataset
- Данные изменены:
- присоединены к словарным записям по лемме и части речи.
Ранжирование значений по частоте (английский)
Когда у английского слова есть несколько значений, они ранжируются по тому, как часто каждое значение реально встречается в текстах — на основе счётчиков разметки семантического конкорданса из Princeton WordNet 3.0.
- Лицензия:
- Princeton WordNet License
- Источник:
- wordnet.princeton.edu
- Данные изменены:
- счётчики значений присоединены к значениям Open English WordNet по sense key; используются для вычисления поля sense_rank.
Данные о частотности слов
Насколько распространено слово (используется для оценки уверенности при разрешении слова по контексту) вычисляется офлайн с помощью библиотеки wordfreq, которая агрегирует данные о частотности из больших текстовых корпусов на многих языках, включая иврит и английский.
- Лицензия:
- Apache-2.0
- Источник:
- github.com/rspeer/wordfreq
- Данные изменены:
- значения частотности вычислены офлайн и сохранены в каждой словарной записи.