The use of learningmetry in the study of probability theory and mathematical statistics at a university of economics with a point-rating system for assessing knowledge

Full Text

Квалиметрический подход в образовании на протяжении многих лет приобретает все больше разнообразных форм и не теряет своей актуальности [1]. Нормативно-правовое оформление системы оценивания индивидуальных достижений студентов в российском образовании произошло еще в 1930-е гг. [2, с. 16]. Но вот уже более десяти лет в классическую систему оценки знаний российских студентов внедряется и постоянно совершенствуется рейтинговая система оценки уровня знаний [3; 4, с. 62], проходившая свое активное становление и развитие за рубежом во второй половине XX в. [2, с. 17].

Однако особую значимость квалиметрический подход приобрел в связи с формированием цифровой образовательной среды (ЦОС) как компонент решения серьезной проблемы современного российского образования – растущего отставания от требований цифровизации экономики и основных сфер общественной жизни [5]. Причем основная роль в реализации Стратегии развития информационного общества в Российской Федерации на 2017–2030 годы и утвержденной программы «Цифровая экономика Российской Федерации» [6] принадлежит высшей школе [7]. Поэтому разработка методов и процедур педагогической квалиметрии вызывает большой интерес [8] и имеет прикладное значение. А поскольку, по мнению ряда авторов [9], учебная мотивация – один из решающих факторов эффективности учебного процесса в вузе, то применение научениеметрической методики [10–14] является способом комплексной оценки эффективности научения.

Определение эффективности обучения при работе с балльно-рейтинговой системой оценки (БРСО) студентов, включенной в ЦОС, является целью данной работы. В ходе исследования решается основная задача: применение научениеметрической методики как средства определения эффективности научения [10; 11] при работе в рамках БРСО студентов, на основе построенной оценки измерения эффективности научения по шкале успеваемость–мотивация. Методика может быть использована преподавателями высшей школы для представления и анализа результатов оценки по шкале успеваемость–мотивация и прогнозирования работы студентов по освоению материала определенной группы дисциплин (например, математика, теория вероятностей и математическая статистика (ТВиМС), эконометрика, эконометрическое моделирование) с помощью БРСО в ЦОС, особенно для дисциплин, преподаваемых более одного семестра или имеющих сильные межпредметные связи.

Для анализа результатов анкетирования по шкале успеваемость–мотивация будем применять научениеметрическую методику [10–14], в которой итоги освоения студентом контрольных точек в БРСО по дисциплине определяются с использованием методов дискретной математики, матричной алгебры и теории графов. Предлагаемая методика представляет собой аналитический метод работы с данными, полученными по результатам освоения контрольных точек и обратной связи, полученной от студентов, а также позволяет выявить структуру группы по особенностям научения, выявляет определенные роли в обучении, мотивации и успешности при освоении учебного материала.

Данные, положенные в основу исследования, получены в результате анкетирования, проведенного в группах бакалавриата направления «Государственное и муниципальное управление» в Самарском государственном экономическом университете (СГЭУ) в третьем семестре 2021/2022 учебного года. Структура контрольных мероприятий по дисциплине «Теория вероятностей и математическая статистика», их содержание и информация о прохождении контрольных точек соответствуют БРСО, реализованной в системе управления обучением (СУО) СГЭУ.

Процедура анкетирования проходила следующим образом. Студентам, прошедшим курс ТВиМС, предлагалось ответить на вопросы типов № 1 и № 2 по каждой контрольной точке: 1. Какова ваша оценка по контрольной точке? 2. Насколько вам понравилось прохождение данной контрольной точки? Какова ваша оценка контрольной точке?

Также собирались ответы на вопросы о том, насколько студентам понравился курс ТВиМС и система БРСО в целом. Они представлены в виде диаграммы на рисунке 1. Внутреннее кольцо диаграммы показывает оценку курса ТВиМС, внешнее – соответственно оценку БРСО. По данным диаграммы видно, что большая часть опрошенных студентов довольна результатами прохождения учебного курса ТВиМС и работой БРСО. И лишь небольшая часть, близкая к 20%, оценила их весьма критично.

Контрольные точки, вошедшие в анкету, представляют собой точки академической активности (ТАА) и точки текущего контроля (ТТК), пронумерованные следующим образом: 1 – ТАА№ 1 Деловая игра (от 0 до 5 баллов); 2 – ТАА№ 2 Контрольная работа № 1 «Комбинаторика. Случайные события» (от 0 до 6 баллов); 3 – ТАА№ 3 Доклад (от 0 до 3 баллов); 4 – ТТК№ 1 Презентация (от 0 до 5 баллов); 5 – ТТК№ 2 Контрольная работа № 2 «Случайные величины» (от 0 до 7 баллов); 6 – ТАА№ 3 Индивидуальное задание по математической статистике (от 0 до 8 баллов); 7 – ТАА№ 4 Итоговый тест по теории вероятностей (от 0 до 10 баллов).

Следует отметить несколько важных моментов. Во-первых, при фиксации результатов прохождения контрольных точек в СУО возможно скачивание баллов непосредственно из системы. Во-вторых, оценивать контрольные точки предлагалось с таким же максимальным количеством баллов, что были возможны при оценке студента по результатам освоения данной контрольной точки, что необходимо для последующего правильного определения научениеметрических индексов. Форма проведения анкеты может быть как традиционная, так и в цифровом формате, с использованием цифровых сервисов и технологий. Опросные листы подписываются, а затем шифруются (№ i в таблице 1).

Рисунок 1 – Оценка курса ТВиМС и БРСО в баллах от 1 до 5

После того, как данные собраны, начинается их обработка. Традиционно она содержит табличный и индексологический этапы [10]. В таблице 1 приведена заполненная матрица по вопросам типа № 1. Здесь и далее i = 1,…,n, j = 1,…,m, n = 13, m = 7. Так как максимальное количество баллов для каждого вида задания различно, что обусловлено распределением веса заданий в БРСО, то для вычисления среднего балла студента по различным видам заданий необходимо все результаты сначала привести к баллам по пятибалльной шкале, а затем вычислять средние.

Далее рассчитываются и сводятся в таблицы научениеметрические индексы, которые служат для выявления количественных показателей, характеризующих эффективность освоения материала дисциплины. Различают индексы персональные (индекс успеваемости студента, индекс мотивационной активности студента, научениеметрический индекс студента по контрольной точке, научениеметрический индекс студента) и групповые (индекс успешности группы, индекс мотивационной активности группы, научениеметрический индекс группы) индексы [10]. В особую категорию можно выделить индексы, касающиеся контрольных точек (индекс оценки теста, научениеметрический индекс теста [10]).

В таблице 1 приведен индекс успеваемости каждого студента, Student Performance Index (SPI) – это характеристика позиции члена группы по успеваемости, рассчитанная как средний балл, полученный при прохождении контрольных точек, приведенный к пятибалльной шкале. Средний балл, рассчитанный по j-й контрольной точке t_j, позволяет судить о том, насколько успешно студенты в среднем прошли данную контрольную точку (табл. 1). Индекс успеваемости группы, Group Performance Index (GPI) – это средний балл, полученный студентами группы при прохождении контрольных точек. Согласно данным таблицы 1, GPI группы составляет 3,04, что соответствует оценке «удовлетворительно» и требует мер по улучшению успеваемости.

Заполненная матрица по вопросам типа № 2 приведена в таблице 2. Индекс мотивационной активности студента, Index of Student Motivational Activity (ISMA) – это характеристика позиции члена группы, характеризующая в целом отношение к тестам и желание осваивать материал, рассчитывается как средний балл контрольным точкам, которые подвергались оценке со стороны студентов (табл. 2). Индекс оценки контрольной точки, Index of Test (IT) – это характеристика позиции контрольной точки, полученная как средний балл, выставленный конкретной контрольной точке различными членами учебной группы по пятибалльной шкале (табл. 2). Индекс мотивационной активности группы, Group Motivational Activity Index (GMAI) – средний балл контрольным точкам по дисциплине, которые подвергались оценке в данной учебной группе. По таблице 2 видно, что значение GMAI составляет 4,15, что позволяет сделать вывод о мотивационной активности превышающие оценку «хорошо» в среднем по группе.

Научениеметрический индекс студента по контрольной точке, Learning Student’s Index of Test (LSITᵢ_,j) – это отношение величины балла, выставленного контрольной точке к величине балла, полученного студентом при прохождении этой контрольной точки, приведен в таблице 3. Он определяется по формуле [10]: LSITᵢ_,j = Q_test(i,j) / Q_stud(i,j), где Q_test(i,j) – это величина балла, выставленного j-й контрольной точке i-м студентом, а Q_stud(i,j) – это величина балла, полученного i-м студентом при прохождении j-го контрольной точки. Этот индекс можно рассматривать как меру удовлетворенности–неудовлетворенности результатом прохождения контрольных точек. Если студент не прошел контрольную точку, то его LSIT не определен, и в соответствующей графе ставится прочерк.

Научениеметрический индекс студента, Learning Student's Index (LSIᵢ) – это среднее научениеметрических индексов LSITᵢ_,j, вычисленных по каждому тесту j = 1,…,m: LSIᵢ = 1 / m∑^m_j=1LSITᵢ_j. Научениеметрический индекс контрольной точки, Learning Test Index (LTI_j) – среднее от «научениеметрических» индексов контрольных точек по студентам учебной группы I = 1,…,n: LTI_j = 1/n∑ⁿᵢ₌₁LSITᵢ_j. Научениеметрический индекс группы, Learning Group Index (LGI) – среднее от научениеметрических индексов студентов учебной группы [10].

Таблица 1 – Анкетные данные «Баллы за контрольные точки»

Таблица 2 – Анкетные данные «Баллы контрольным точкам»

Таблица 3 – Расчетные значения индексов

Для анализа данных таблицы 3 примем во внимание, что по значениям научениеметрического индекса работу студента по контрольным точкам можно разделить на три группы: с LSITᵢ_,j < 1 – мотивация ниже успешности в обучении, низкая потребность в достижении; с LSITᵢ_,j = 1 – мотивация соответствует успешности в обучении, средняя потребность в достижении; с LSITᵢ_,j > 1 – мотивация выше успешности в обучении, высокая потребность в достижении [10]. Таким же образом можно интерпретировать групповой индекс LGI. Так как его значение составляет 1,72 и можно сделать вывод о том, что, несмотря на умеренные показатели успеваемости, прогноз для данной группы благоприятный, в целом группа направлена на развитие своих когнитивных способностей.

Данные таблиц 1 и 2 положим в основу построения облака точек на рисунке 2. Согласно разделению всей области успеваемости–мотивации на 4 квадрата («Оптимум», «Развитие», «Деградация», «Рутина»), как это было сделано в [13, с. 383], по рисунку 2 видно, что наибольшее число точек сосредоточено в зоне оптимума и развития, что приводит к позитивному прогнозу по группе в целом, однако учебная деятельность отдельных студентов требует внимания.

Рисунок 2 – Поле наблюдаемых значений по шкале успеваемость–мотивация

Для визуализации полученных в работе результатов также можно использовать научениеграммы [12], аналог социограмм в социометрических исследованиях [15].

В заключение можно отметить, что на основе научениеметрического метода измерения эффективности работы студентов по учебному курсу в БРСО, представленной в ЦОС, по шкале успеваемость–мотивация поэтапно производится анализ данных, полученных в БРСО и в ходе анкетирования. Применение данной методики дает ответы на вопросы о различных сторонах освоения студентами контрольных точек по дисциплине и является одним из методов анализа обратной связи. Таким образом, преподаватель может определить эффективность научения студентов и прогнозировать усвоение учебного материала.

About the authors

Nadezhda Anatolyevna Zaychikova

Author for correspondence.
Email: zajna@yandex.ru

candidate of physical and mathematical sciences, associate professor of Statistics and Econometrics Department

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Figure 1 – Assessment of the TWiMS and BRSO course in points from 1 to 5

Download (28KB)

Indexing metadata

3. Figure 2 – Field of observed values on the academic performance–motivation scale

Download (11KB)

Indexing metadata