The use of learningmetry in the study of probability theory and mathematical statistics at a university of economics with a point-rating system for assessing knowledge

Cover Page

Cite item

Abstract

The paper considers the use of the learningmetry method as a tool for measuring the performance-motivation scale of the results of work on control points in a digital educational environment within the point-rating system for assessing students’ knowledge at a university of economics. The author have analyzed data on the results of mastering the course «Probability Theory and Mathematical Statistics» in the third semester of the 2021/2022 undergraduate program. Tabular and indexological stages of data analysis are carried out. The following personal and group indices were calculated: the student’s progress index, the student’s motivational activity index, the student’s learningmetry index by the test, the student’s learningmetry index; group success index, group motivational activity index, group learningmetry index. Indices of evaluation of the tests are also calculated: index of evaluation of the test, learningmetry index of the test. A feature of the work is the calculation of learningmetry indices under conditions of a different maximum number of points obtained in the assessment at different control points, as a result of which a preliminary transfer of data into a five-point evaluation system is proposed. The implementation of the presented methodology can be useful for assessing the effectiveness of students’ learning in mastering the course in the conditions of a point-rating system for assessing students’ knowledge and in a digital educational environment.

Full Text

Квалиметрический подход в образовании на протяжении многих лет приобретает все больше разнообразных форм и не теряет своей актуальности [1]. Нормативно-правовое оформление системы оценивания индивидуальных достижений студентов в российском образовании произошло еще в 1930-е гг. [2, с. 16]. Но вот уже более десяти лет в классическую систему оценки знаний российских студентов внедряется и постоянно совершенствуется рейтинговая система оценки уровня знаний [3; 4, с. 62], проходившая свое активное становление и развитие за рубежом во второй половине XX в. [2, с. 17].

Однако особую значимость квалиметрический подход приобрел в связи с формированием цифровой образовательной среды (ЦОС) как компонент решения серьезной проблемы современного российского образования – растущего отставания от требований цифровизации экономики и основных сфер общественной жизни [5]. Причем основная роль в реализации Стратегии развития информационного общества в Российской Федерации на 2017–2030 годы и утвержденной программы «Цифровая экономика Российской Федерации» [6] принадлежит высшей школе [7]. Поэтому разработка методов и процедур педагогической квалиметрии вызывает большой интерес [8] и имеет прикладное значение. А поскольку, по мнению ряда авторов [9], учебная мотивация – один из решающих факторов эффективности учебного процесса в вузе, то применение научениеметрической методики [10–14] является способом комплексной оценки эффективности научения.

Определение эффективности обучения при работе с балльно-рейтинговой системой оценки (БРСО) студентов, включенной в ЦОС, является целью данной работы. В ходе исследования решается основная задача: применение научениеметрической методики как средства определения эффективности научения [10; 11] при работе в рамках БРСО студентов, на основе построенной оценки измерения эффективности научения по шкале успеваемость–мотивация. Методика может быть использована преподавателями высшей школы для представления и анализа результатов оценки по шкале успеваемость–мотивация и прогнозирования работы студентов по освоению материала определенной группы дисциплин (например, математика, теория вероятностей и математическая статистика (ТВиМС), эконометрика, эконометрическое моделирование) с помощью БРСО в ЦОС, особенно для дисциплин, преподаваемых более одного семестра или имеющих сильные межпредметные связи.

Для анализа результатов анкетирования по шкале успеваемость–мотивация будем применять научениеметрическую методику [10–14], в которой итоги освоения студентом контрольных точек в БРСО по дисциплине определяются с использованием методов дискретной математики, матричной алгебры и теории графов. Предлагаемая методика представляет собой аналитический метод работы с данными, полученными по результатам освоения контрольных точек и обратной связи, полученной от студентов, а также позволяет выявить структуру группы по особенностям научения, выявляет определенные роли в обучении, мотивации и успешности при освоении учебного материала.

Данные, положенные в основу исследования, получены в результате анкетирования, проведенного в группах бакалавриата направления «Государственное и муниципальное управление» в Самарском государственном экономическом университете (СГЭУ) в третьем семестре 2021/2022 учебного года. Структура контрольных мероприятий по дисциплине «Теория вероятностей и математическая статистика», их содержание и информация о прохождении контрольных точек соответствуют БРСО, реализованной в системе управления обучением (СУО) СГЭУ.

Процедура анкетирования проходила следующим образом. Студентам, прошедшим курс ТВиМС, предлагалось ответить на вопросы типов № 1 и № 2 по каждой контрольной точке: 1. Какова ваша оценка по контрольной точке? 2. Насколько вам понравилось прохождение данной контрольной точки? Какова ваша оценка контрольной точке?

Также собирались ответы на вопросы о том, насколько студентам понравился курс ТВиМС и система БРСО в целом. Они представлены в виде диаграммы на рисунке 1. Внутреннее кольцо диаграммы показывает оценку курса ТВиМС, внешнее – соответственно оценку БРСО. По данным диаграммы видно, что большая часть опрошенных студентов довольна результатами прохождения учебного курса ТВиМС и работой БРСО. И лишь небольшая часть, близкая к 20%, оценила их весьма критично.

Контрольные точки, вошедшие в анкету, представляют собой точки академической активности (ТАА) и точки текущего контроля (ТТК), пронумерованные следующим образом: 1 – ТАА№ 1 Деловая игра (от 0 до 5 баллов); 2 – ТАА№ 2 Контрольная работа № 1 «Комбинаторика. Случайные события» (от 0 до 6 баллов); 3 – ТАА№ 3 Доклад (от 0 до 3 баллов); 4 – ТТК№ 1 Презентация (от 0 до 5 баллов); 5 – ТТК№ 2 Контрольная работа № 2 «Случайные величины» (от 0 до 7 баллов); 6 – ТАА№ 3 Индивидуальное задание по математической статистике (от 0 до 8 баллов); 7 – ТАА№ 4 Итоговый тест по теории вероятностей (от 0 до 10 баллов).

Следует отметить несколько важных моментов. Во-первых, при фиксации результатов прохождения контрольных точек в СУО возможно скачивание баллов непосредственно из системы. Во-вторых, оценивать контрольные точки предлагалось с таким же максимальным количеством баллов, что были возможны при оценке студента по результатам освоения данной контрольной точки, что необходимо для последующего правильного определения научениеметрических индексов. Форма проведения анкеты может быть как традиционная, так и в цифровом формате, с использованием цифровых сервисов и технологий. Опросные листы подписываются, а затем шифруются (№ i в таблице 1).

 

Рисунок 1 – Оценка курса ТВиМС и БРСО в баллах от 1 до 5

 

После того, как данные собраны, начинается их обработка. Традиционно она содержит табличный и индексологический этапы [10]. В таблице 1 приведена заполненная матрица по вопросам типа № 1. Здесь и далее i = 1,…,n, j = 1,…,m, n = 13, m = 7. Так как максимальное количество баллов для каждого вида задания различно, что обусловлено распределением веса заданий в БРСО, то для вычисления среднего балла студента по различным видам заданий необходимо все результаты сначала привести к баллам по пятибалльной шкале, а затем вычислять средние.

Далее рассчитываются и сводятся в таблицы научениеметрические индексы, которые служат для выявления количественных показателей, характеризующих эффективность освоения материала дисциплины. Различают индексы персональные (индекс успеваемости студента, индекс мотивационной активности студента, научениеметрический индекс студента по контрольной точке, научениеметрический индекс студента) и групповые (индекс успешности группы, индекс мотивационной активности группы, научениеметрический индекс группы) индексы [10]. В особую категорию можно выделить индексы, касающиеся контрольных точек (индекс оценки теста, научениеметрический индекс теста [10]).

В таблице 1 приведен индекс успеваемости каждого студента, Student Performance Index (SPI) – это характеристика позиции члена группы по успеваемости, рассчитанная как средний балл, полученный при прохождении контрольных точек, приведенный к пятибалльной шкале. Средний балл, рассчитанный по j-й контрольной точке tj, позволяет судить о том, насколько успешно студенты в среднем прошли данную контрольную точку (табл. 1). Индекс успеваемости группы, Group Performance Index (GPI) – это средний балл, полученный студентами группы при прохождении контрольных точек. Согласно данным таблицы 1, GPI группы составляет 3,04, что соответствует оценке «удовлетворительно» и требует мер по улучшению успеваемости.

Заполненная матрица по вопросам типа № 2 приведена в таблице 2. Индекс мотивационной активности студента, Index of Student Motivational Activity (ISMA) – это характеристика позиции члена группы, характеризующая в целом отношение к тестам и желание осваивать материал, рассчитывается как средний балл контрольным точкам, которые подвергались оценке со стороны студентов (табл. 2). Индекс оценки контрольной точки, Index of Test (IT) – это характеристика позиции контрольной точки, полученная как средний балл, выставленный конкретной контрольной точке различными членами учебной группы по пятибалльной шкале (табл. 2). Индекс мотивационной активности группы, Group Motivational Activity Index (GMAI) – средний балл контрольным точкам по дисциплине, которые подвергались оценке в данной учебной группе. По таблице 2 видно, что значение GMAI составляет 4,15, что позволяет сделать вывод о мотивационной активности превышающие оценку «хорошо» в среднем по группе.

Научениеметрический индекс студента по контрольной точке, Learning Students Index of Test (LSITᵢ,j) – это отношение величины балла, выставленного контрольной точке к величине балла, полученного студентом при прохождении этой контрольной точки, приведен в таблице 3. Он определяется по формуле [10]: LSITᵢ,j = Qtest(i,j) / Qstud(i,j), где Qtest(i,j) – это величина балла, выставленного j-й контрольной точке i-м студентом, а Qstud(i,j) – это величина балла, полученного i-м студентом при прохождении j-го контрольной точки. Этот индекс можно рассматривать как меру удовлетворенности–неудовлетворенности результатом прохождения контрольных точек. Если студент не прошел контрольную точку, то его LSIT не определен, и в соответствующей графе ставится прочерк.

Научениеметрический индекс студента, Learning Student's Index (LSI) – это среднее научениеметрических индексов LSITᵢ,j, вычисленных по каждому тесту j = 1,…,m: LSIᵢ = 1 / mmj=1LSITj. Научениеметрический индекс контрольной точки, Learning Test Index (LTIj)среднее от «научениеметрических» индексов контрольных точек по студентам учебной группы I = 1,…,n: LTIj = 1/nn=1LSITj. Научениеметрический индекс группы, Learning Group Index (LGI)среднее от научениеметрических индексов студентов учебной группы [10].

 

Таблица 1 – Анкетные данные «Баллы за контрольные точки»

№ (i)

Контрольные точки (j)

1

2

3

4

5

6

7

SPI

1

5

5

1

2

1

6

6

2,90

2

5

5

1

1

2

5

5

2,70

3

5

4

3

3

0

3

4

2,89

4

5

1

1

1

0

6

5

2,11

5

5

4

3

4

7

8

7

4,40

6

5

4

2

4

1

7

10

3,68

7

2

2

0

1

1

1

0

0,86

8

5

3

3

4

0

7

6

3,41

9

5

2

3

4

3

6

8

3,65

10

0

3

1

1

1

6

7

1,88

11

5

0

3

3

1

5

9

3,05

12

5

3

3

5

2

7

10

4,04

13

5

3

3

5

3

6

8

3,91

tj

4,38

3,00

2,08

2,92

1,69

5,62

6,54

GPI = 3,04

 

Таблица 2 – Анкетные данные «Баллы контрольным точкам»

№ (i)

Контрольные точки (j)

1

2

3

4

5

6

7

ISMAᵢ

1

5

6

2

3

5

7

9

4,11

2

5

6

3

5

6

7

10

4,81

3

5

5

3

4

4

7

7

4,13

4

5

6

2

3

7

8

9

4,40

5

5

5

3

4

7

8

5

4,38

6

5

6

3

5

4

8

10

4,69

7

5

4

2

4

4

3

0

2,91

8

4

6

3

5

6

8

10

4,76

9

5

3

3

4

2

5

10

3,72

10

5

5

3

5

3

8

9

4,40

11

5

3

3

3

3

5

10

3,68

12

4

6

3

5

3

7

10

4,36

13

5

3

3

3

3

6

8

3,63

ITj

4,85

4,10

4,62

4,08

3,13

4,18

4,12

GMAI = 4,15

 

Таблица 3 – Расчетные значения индексов

№ (i)

LSIT(i,j)

1

2

3

4

5

6

7

LSI (i)

1

1

1,2

2

1,5

5

1,17

1,5

1,91

2

1

1,2

3

5

3

1,4

2

2,37

3

1

1,25

1

1,33

2,33

1,75

1,44

4

1

6

2

3

1,33

1,8

2,52

5

1

1,25

1

1

1

1

0,71

0,99

6

1

1,5

1,5

1,25

4

1,14

1

1,63

7

2,5

2

4

4

3

3,10

8

0,8

2

1

1,25

1,14

1,67

1,31

9

1

1,5

1

1

0,67

0,83

1,25

1,04

10

1,67

3

5

3

1,33

1,29

2,55

11

1

1

1

3

1

1,11

1,35

12

0,8

2

1

1

1,5

1

1

1,19

13

1

1

1

0,6

1

1

1

0,94

LTI (j)

1,09

1,88

1,54

2,07

2,62

1,36

1,34

LGI = 1,72

 

Для анализа данных таблицы 3 примем во внимание, что по значениям научениеметрического индекса работу студента по контрольным точкам можно разделить на три группы: с LSITᵢ,j < 1 – мотивация ниже успешности в обучении, низкая потребность в достижении; с LSITᵢ,j = 1 – мотивация соответствует успешности в обучении, средняя потребность в достижении; с LSITᵢ,j > 1 – мотивация выше успешности в обучении, высокая потребность в достижении [10]. Таким же образом можно интерпретировать групповой индекс LGI. Так как его значение составляет 1,72 и можно сделать вывод о том, что, несмотря на умеренные показатели успеваемости, прогноз для данной группы благоприятный, в целом группа направлена на развитие своих когнитивных способностей.

Данные таблиц 1 и 2 положим в основу построения облака точек на рисунке 2. Согласно разделению всей области успеваемости–мотивации на 4 квадрата («Оптимум», «Развитие», «Деградация», «Рутина»), как это было сделано в [13, с. 383], по рисунку 2 видно, что наибольшее число точек сосредоточено в зоне оптимума и развития, что приводит к позитивному прогнозу по группе в целом, однако учебная деятельность отдельных студентов требует внимания.

 

Рисунок 2 – Поле наблюдаемых значений по шкале успеваемость–мотивация

 

Для визуализации полученных в работе результатов также можно использовать научениеграммы [12], аналог социограмм в социометрических исследованиях [15].

В заключение можно отметить, что на основе научениеметрического метода измерения эффективности работы студентов по учебному курсу в БРСО, представленной в ЦОС, по шкале успеваемость–мотивация поэтапно производится анализ данных, полученных в БРСО и в ходе анкетирования. Применение данной методики дает ответы на вопросы о различных сторонах освоения студентами контрольных точек по дисциплине и является одним из методов анализа обратной связи. Таким образом, преподаватель может определить эффективность научения студентов и прогнозировать усвоение учебного материала.

×

About the authors

Nadezhda Anatolyevna Zaychikova

Samara State University of Economics

Author for correspondence.
Email: zajna@yandex.ru

candidate of physical and mathematical sciences, associate professor of Statistics and Econometrics Department

Russian Federation, Samara

References

  1. Троеглазова А.В. Квалиметрический подход к формированию балльно-рейтинговой системы оценивания в вузе // Современное педагогическое образование. 2020. № 5. С. 54-56.
  2. Сазонов Б.А. Балльно-рейтинговые системы оценивания знаний: особенности российской практики // Образование и наука. 2012. № 9 (98). С. 15-34.
  3. О проведении эксперимента по введению рейтинговой системы оценки успеваемости студентов вузов: приказ Министерства образования РФ от 11.07.2002 № 2654.
  4. Коряковцева О.А. Преимущества и проблемы применения балльно-рейтинговой системы в вузе // Гуманитарные науки (г. Ялта). 2021. № 1 (53). С. 62-69.
  5. решений для нового образования // Качество образования. 2018. № 2. С. 4-9.
  6. Об утверждении программы «Цифровая экономика Российской Федерации»: распоряжение Правительства РФ от 28.07.2017 № 1632-р.
  7. Козлова Г.Г. Роль высшей школы в развитии цифровой экономики // Международный журнал гуманитарных и естественных наук. 2018. № 2. С. 63-65.
  8. Булатова Е.Г. О квалиметрическом подходе в педагогических исследованиях // Актуальные проблемы гуманитарных и естественных наук. 2017. № 12-2. С. 59-63.
  9. Гнездилова Л.Б., Гнездилов М.А. Учебная мотивация как основа эффективного образовательного процесса в вузе // Вестник Кемеровского государственного университета. Серия: Гуманитарные и общественные науки. 2017. № 2. С. 4-11.
  10. Зайчикова Н.А. Разработка методики измерения по шкале успеваемость-мотивация результатов работы с тестовыми системами в цифровой образовательной среде // Современные проблемы науки и образования. 2018. № 4. doi: 10.17513/spno.27902.
  11. Зайчикова Н.А. Применение научениеметрической методики в студенческих группах в цифровой образовательной среде // Наука XXI века: Актуальные направления развития. 2019. № 2-1. С. 35-40.
  12. Зайчикова Н.А. Научениеграмма как способ графического представления результата научениеметрической процедуры // Наука XXI века: Актуальные направления развития. 2020. № 1-1. С. 100-104.
  13. Зайчикова Н.А. Разработка анкеты для реализации научениеметрической методики в вузе // Актуальные аспекты развития современной науки: сб. науч. ст. II междунар. науч. конф., 18 декабря 2020 года. Самара: Изд-во СГЭУ, 2021. С. 382-385.
  14. Zaychikova N.A. Learningmetry: Effectiveness e-learning measuring and reflection of educational experience // Current Achievements, Challenges and Digital Chances of Knowledge Based Economy. Cham: Springer Nature Switzerland AG, 2021. P. 611-619. doi: 10.1007/978-3-030-47458-4_70.
  15. Морено Я.Л. Социометрия: Экспериментальный метод и наука об обществе / пер. с англ. А.М. Боковикова. М.: Академический Проект, 2001. 384 с.

Supplementary files

Supplementary Files
Action
1. Figure 1 – Assessment of the TWiMS and BRSO course in points from 1 to 5

Download (28KB)
2. Figure 2 – Field of observed values on the academic performance–motivation scale

Download (11KB)

Copyright (c) 2022 Zaychikova N.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies