Modeling the assessment of the quality of students’ professional competencies development

Cover Page

Abstract


Vocational training of specialists in various fields is aimed at development of a complex of qualities and competencies necessary for future professional activities. The list of professional and general competencies is regulated by the State educational standard. The assessment of the level of competencies development is a measure of the quality of graduate training. The assessment of the quality of competencies development is a measure of the effectiveness of the educational institution work and its structural divisions. It is necessary for internal and external monitoring, adjustment of the pedagogical process and rating. This determines the importance of reliable and informative analysis of how developing factors influence the final result of training. The paper proposes an analytical method for determining the weight coefficient of each developing factor in the overall assessment of the level of professional competencies development. The possibility of its use in the analysis of learning problems at individual and group levels is substantiated. It is proposed to use a matrix of information representation and elements of matrix and vector analysis for processing statistical data. The author has developed a mathematical model that describes a complex process of professional competencies development in higher education institutions. Developing factors in this model are university departments. The possibilities of using the model are discussed. The ways of eliminating the problem of matrices dimensions mismatch when solving matrix equations are indicated. The paper contains examples of the proposed model use in other aspects of the education quality study. A method for determining the integral indicator of the quality of training in all disciplines is proposed. The main conclusions and results of the research can be used directly in the educational process, in the field of education management and in methodical work.


Full Text

Формирование комплекса компетенций, необходимых для будущей профессиональной деятельности, – глобальная цель профессионального образования, определяющая параметры системы обучения. Перечень профессиональных и общих компетенций регламентирован образовательным стандартом профессиональной подготовки и детализирован в локальных правовых документах образовательного учреждения. Таким образом, каждое учреждение высшего образования имеет вполне определенный перечень требований к результатам обучения, представленный как в обобщенных формулировках, так и в виде конкретных критериев, составляющих фонд оценочных средств.

Оценка уровня освоения компетенций является мерой качества профессиональной подготовки выпускника вуза. Средствам и методам такой оценки посвящено немало научных исследований (напр., [1]). Предложены различные подходы к определению не столько уровня полученных знаний, сколько уровня готовности выпускника к выполнению профессиональных задач. Большой интерес для науки и педагогической практики представляют разработка методов, средств, технологий и процедур педагогической квалиметрии, диагностики, коррекции.

Оценка качества формирования компетенций обучающихся является мерой эффективности работы учебного заведения и его структурных подразделений. Она необходима для внутреннего и внешнего мониторинга, корректировки педагогического процесса, рейтинговой оценки. «Интегральные оценки качества образования служат основой современного управления вузом и его образовательной средой» [2]. В качестве факторов, влияющих на качество образования, специалисты называют различные критерии: качество управления учебным заведением, качество персонала, учебных программ, учебно-образовательного процесса, инфраструктуры, учебной среды, набора учащихся и т.д. [3; 4].

В научной литературе, посвященной проблематике квалиметрии в педагогике, описаны различные системы оценки качества образования. Однако в большей степени эти исследования посвящены оценке комплексных показателей, значимых при проведении процедур лицензирования учебного заведения и аккредитации программ. Вместе с тем не менее значимой научной проблемой является обоснование и разработка методов «внутреннего аудита», позволяющих определить слабые места в системе подготовки, выявить и устранить недостатки, перераспределить ресурсы учебного времени, квалифицированные педагогические кадры, оптимизировать использование оборудования и т.д. С такой позицией согласуется мнение о том, что «прежде чем представлять вуз для внешней оценки, необходимо провести внутреннее маркетинговое исследование, которое позволит получить необходимые данные для анализа и дальнейшего развития вуза. Детализация образовательных процессов дает возможность выделить факторы, влияющие на качество» [5]. Становится очевидной важность задачи достоверного и информативного анализа степени влияния формирующих факторов на конечный результат обучения.

Поиск путей решения поставленной задачи приводит к идее использования математических методов. Подход с позиций математического моделирования особенно актуален в нынешний период цифровизации соцально-экономических отношений, когда информационные (цифровые) технологии становятся ключевым инструментом профессиональной деятельности, хозяйственных отношений и управленческих решений. Развитие цифровой инфраструктуры, переход к цифровым формам взаимодействия, пропаганда инноваций, совершенствование информационно-методического обеспечения педагогической деятельности обозначены как важнейшие направления реформирования образования [6]. Важен каждый шаг в направлении разработки технологий цифрового управления. «Изменения в технологиях, начавшиеся во второй половине XX в., влекут за собой необходимость технологического переоснащения системы образования, которые не ограничиваются процессами компьютеризации или информатизации. Современные тенденции глобализации, трансформации и модернизации затрагивают все уровни системы образования. Цифровая революция сегодня уже не может пониматься только как переход от аналоговых устройств к цифровым устройствам, поскольку вышла на новый, более высокий уровень внедрения, охватывает все больше сфер деятельности, в том числе образование» [7].

Авторами статьи предлагались некоторые математические модели для обработки результатов исследований в области педагогики [8], маркетинга, социологии. В настоящей статье предложен способ определения вклада каждого из субъектов в конечный результат обучения. Методология исследования включает как общенаучные, так и математические методы: теоретический анализ проблемы на основе анализа научной литературы, обобщение опыта для определения путей решения проблемы, математическое моделирование, использование фундаментальных основ векторной и матричной алгебры для решения прикладных задач.

Поставим задачу построения математической модели целенаправленного педагогического процесса, в которой конечная цель обучения определяется совокупностью компетенций, каждая из которых формируется несколькими субъектами. В зависимости от поставленных задач, в качестве субъектов могут выступать отдельные структурные подразделения образовательного учреждения, кафедры, а также дисциплины учебной программы, виды учебных занятий и т.д. В соответствии с принципами математического моделирования, искомая зависимость должна достаточно корректно и лаконично отражать значимые свойства и закономерности процесса, быть простой и удобной в использовании, иметь возможность реализации в виде компьютерных программ. В качестве теоретической основы возьмем используемую в экономико-математических исследованиях модель многоотраслевой экономики. Предложенная академиком В.В. Леонтьевым балансовая модель закрытой экономической системы позволяет решать множество задач планирования, распределения ресурсов между субъектами, определения оптимальных параметров системы. В некотором смысле, с необходимыми в моделировании рестрикциями, формализованное описание образовательной системы имеет общие характерные черты с экономическими системами: каждый компонент системы производит и потребляет произведенный другими компонентами однородный продукт, так что общий объем продукции отвечает линейным балансовым соотношениям.

Если в высшем учебном заведении выбрать любое направление подготовки, то существует некоторое конечное число дисциплин, в процессе преподавания которых, формируется некоторое конечное число компетенций выпускника учебного заведения. Например, при подготовке в Самарском государственном экономическом университете бакалавров по направлению 38.03.01 Экономика, дисциплина «Математический анализ» нацелена на формирование у выпускника общепрофессиональной компетенции ОПК-2, выражающейся в способности будущего бакалавра «осуществлять сбор, анализ и обработку данных, необходимых для решения профессиональных задач». Согласно учебному плану вуза, эта же компетенция формируется и при изучении других дисциплин. Предшествующими дисциплинами являются Линейная алгебра, Микроэкономика, Технологические основы производства, Экология; последующими, завершающими формирование компетенции, – Методы моделирования и прогнозирования в экономике, Теория вероятностей и математическая статистика, Методы оптимальных решений, Экономический анализ. Некоторые дисциплины могут быть задействованы в формировании нескольких компетенций. В научном исследовании М.Ю. Праховой, Н.В. Заиченко, М.М. Закирничной, З.Х. Павловой [9], оценка компетентности выпускников вуза связана с проблемой оценки значимости каждой из дисциплин. «Практически все компетенции (за редким исключением) формируются несколькими дисциплинами, что затрудняет разработку валидных способов количественной оценки. Фактически требуется измерять уровень освоения компетентности через оценивание ее отдельных составляющих, а это влечет за собой установление весовых коэффициентов, т.е. ранжирование дисциплин по значимости вклада в формирование компетенции».

Поставим задачу оценки вклада каждой из названных дисциплин учебного плана в общий результат. На начальном этапе изучения дисциплины студенты проходят диагностическое тестирование с целью определения стартового уровня подготовки. Содержание тестовых заданий ориентировано на проверку знаний, умений и навыков по предшествующим дисциплинам или уровня владения необходимыми школьными знаниями, если данная дисциплина изучается на первом курсе. Более сложную процедуру представляет собой итоговая оценка уровня сфомированности компетенций по окончании обучения.

Рассмотрим произвольное направление подготовки бакалавра, специалиста или магистра. Будем считать, что на данном направлении изучается n дисциплин X1, X2, …, Xn, которые формируют n компетенций Y1, Y2, …, Yn. Можно определить «ценность» каждой дисциплины в формировании профессиональных компетенций, проведя ранжирование, например, методом экспертных оценок. Предположим, что вклад каждой из дисциплин X1, X2, …, Xn в формирование i-ой компетенции Yi дисциплины соответственно равен ai1, ai2, , ain, причем ai1+ ai2+…+ ain=1. Эти числа являются весовыми коэффициентами каждой дисциплины при формировании i-ой компетенции Yi. Таким образом задана структурная матрица формирования компетенций:

A=a11a21...an1a21a22...an2...an1an2...an3n×n.

Пусть уровень сформированности каждой из компетенций Y1, Y2, …, Yn представлен в виде набора чисел y1, y2, …, yn, где 0yi1, i=1,n. Следовательно, задан n-мерный вектор сформированности профессиональных компетенций Y(y1,y2, ..., yn) с координатами 0<yi1, i=1,n на момент окончания обучающимся высшего учебного заведения. Государственными образовательными стандартами предусмотрены пороговые уровни сформированности каждой компетенции, которые можно интерпретировать некоторым набором из n чисел 0<zi<1, i=1,n. Эти числа определяют диапазон, в котором должны находиться значения сформированных профессиональных компетенций ziyi1, i=1,n. Полученные в результате мониторинга данные о сформированности компетенций визуализируются в векторном виде.

На рисунке 1 показана векторная интерпретация результатов мониторинга сформированности компетенций выпускников вуза при наличии трех компетенций. Здесь области C и Cp множества трехмерных точек возможных и допустимых результатов тестирования соответственно. Вектор YI иллюстрирует уровень сформированности компетенций выпускников с «идеальными характеристиками» YI(1, 1, ..., 1), вектор Yp визуализирует результаты, не удовлетворяющие пороговым требованиям.

 

Рисунок 1 – Трехмерный куб результатов мониторинга сформированности компетенций выпускников

 

Если количество компетенций для мониторинга превосходит три (n > 3), то построить куб и векторы результатов мониторинга в n-мерном пространстве не представляется возможным. Однако, существует прием, позволяющий работать с n-мерными векторами графически, используя развертку вектора на плоскость в виде лепестковой диаграммы.

Кроме того, имелся некоторый начальный уровень сформированности рассматриваемых компетенций до начала обучения обучающегося в вузе, то есть известен начальный вектор сформированности профессиональных компетенций Y0(y10, y20, ..., yn0), где 0yi0yi1, i=1,n.

Обозначим xj интегральный численный показатель качества подготовки по дисциплине Xj при формировании профессиональных компетенций, зависящий от выбора преподавателем учебного контента, педагогического мастерства, организации учебного процесса по дисциплине и т.д. Составим вектор X(x1, x2, ..., Xn), определяющий качество подготовки по всем дисциплинам, формирующим профессиональные компетенции Y1, Y2, …, Yn.

В предположении, что зависимость между качеством подготовки обучающихся по всем дисциплинам и сформированностью профессиональных компетенций линейна, запишем следующее равенство:

a11a21...an1a21a22...an2...an1an2...an3×x1x2...xn+y10y20...yn0=y1y2...yn,

или в матричной форме:

A×X+Y0=Y.

Если матрица А невырожденная, то из последнего равенства можно выразить вектор X, определяющий качество подготовки по всем дисциплинам:

X=A-1×(Y-Y0).

Координаты вектора можно использовать для анализа качества учебного процесса по выбранным дисциплинам при формировании рассмотренных компетенций. Заметим, что согласно сказанному выше, численные значения координат данного вектора трактуются как показатели качества подготовки по дисциплине. Факторы, влияющие на значение показателя, устанавливаются на этапе формализации задачи в процессе моделирования. Оценка степени влияния факторов на интегральный показатель представляет отдельную проблему, и способы к ее решению также могут быть основаны на приведенном принципе вычисления.

Мы рассмотрели случай, когда количество изучаемых дисциплин совпадает с количеством формируемых компетенций. Предположим, что на направлении изучается n дисциплин X1, X2, …, Xn, которые формируют m компетенций Y1, Y2, …, Ym.

Если количество дисциплин больше количества формируемых компетенций (n > m), то можно добавить nm фиктивных компетенций Ym + 1, Ym + 2, …, Yn, которые имеют близкий к нулю вклад в их формирование каждой дисциплины. Если количество дисциплин меньше количества формируемых компетенций (n < m), то можно добавить m n фиктивных дисциплин Xn + 1, Xn + 2, …, Xm, вклад которых во все рассматриваемые компетенции очень мал. При анализе результатов расчета фиктивные компетенции и фиктивные дисциплины исключаются из рассмотрения.

Другой подход к выравниванию количества дисциплин и компетенций состоит во временном отбрасывании наиболее несущественных nm дисциплин, мало влияющих на формирование компетенций в первом случае и m n наиболее незначимых компетенций во втором случае, либо поблочное исследование влияния дисциплин на формирование компетенций.

В результате получаем модель формировании профессиональных компетенций, в которой количество дисциплин равно количеству формируемых компетенций (m = n). Далее можно применять алгоритм расчета оценки качества преподавания в вузе, изложенный выше.

В качестве замечания отметим, что одной из предпосылок использования приведенного метода является наличие n-мерного вектора сформированности профессиональных компетенций Y(y1, y2, ..., yn) на момент окончания обучающимся высшего учебного заведения. Как получить значения координат этого вектора, и какие статистические данные для этого необходимо иметь? Многообразны существующие точки зрения по вопросу методики оценки. Мы склоняемся к мнению авторов работы, предлагающих «проверять уровень остаточных знаний и умений в форме компьютерного тестирования и отдельно в форме решения ситуационных заданий (кейсов), выполняемых студентами в ходе экспертизы за выделенное время. Окончательный результат оценки получается путем «свертки» результатов оценивания по всем циклам дисциплин, выбранных для проверки» [10]. Заслуживает внимания и проработка данного вопроса в работах М.Ю. Праховой, предлагающей сочетать шкалированный и интегральный методы в накопительной форме за весь период обучения. «На первом этапе происходит оценка отдельных составляющих компетенции в ходе промежуточной аттестации по дисциплине или по практике, а на втором этапе – оценка всей компетенции (или группы связанных компетенций) в ходе государственной итоговой аттестации с учетом портфолио выпускника. В него должны включаться все личные достижения выпускника, фиксируемые на протяжении всего времени обучения» [9]. Группу общекультурных компетенций, связанных с личностной компонентой выпускника, предложено оценивать по результатам прохождения учебных или производственных практик.

Вместе с тем, остается открытым вопрос о математических методах обработки полученных результатов, получения многокритериальной интегральной (итоговой) оценки. Можно выделить несколько групп методов численной оценки сформированности профессиональных компетенций. В большинстве методических разработок используются статистические методы анализа данных [11], как, например, метод взвешенных оценок [12], кластерный анализ, а также методы экспертных оценок, использование аппарата нечетких множеств [13] и др. Несомненно, проблему нельзя считать решенной. Специфика вопроса активно обсуждается и является перспективным направлением исследований в контексте проблематики настоящей статьи.

About the authors

Sergey Ivanovich Makarov

Samara State University of Economics

Author for correspondence.
Email: matmaksi@yandex.ru

Russian Federation, Samara

doctor of pedagogical sciences, professor, head of Higher Mathematics and Economic-Mathematical Methods Department

References

  1. Севастьянова С.А. Формирование профессиональных математических компетенций у студентов экономических вузов: дис. … канд. пед. наук: 13.00.01. Самара, 2006. 237 с.
  2. Соловьев И.В., Филатов С.В. Интегральные оценки качества образования // Интеграция образования. 2014. Т. 18, № 2 (75). С. 14–19.
  3. Цветков В.Я., Оболяева Н.М. Использование интегрального показателя успеваемости для оценки управления качеством образования // Дистанционное и виртуальное обучение. 2012. № 6. С. 23–26.
  4. Оболяева Н.М. Управление качеством образования на основе информационных технологий // European Researcher. 2012. Vol. 36, № 12–1. P. 2146–2149.
  5. Еремина Н.Ю., Кислова Н.Н. Высшее образование сегодня: к вопросу о требованиях к качеству // Поволжский педагогический вестник. 2016. № 2 (11). С. 20–24.
  6. Распоряжение Правительства РФ от 28.07.2017 № 1632-р. Об утверждении программы «Цифровая экономика Российской Федерации».
  7. Цифровизация как приоритетное направление модернизации российского образования: монография / под ред. Н.В. Горбуновой. Саратов: Саратовский социально-экономический институт (филиал) РЭУ им. Г.В. Плеханова, 2019. 152 с.
  8. Makarov S.I., Sevastyanova S.A. Information modeling of the students' residual knowledge level // Digital Transformation of the Economy: Challenges, Trends and New Opportunities / eds. S. Ashmarina, A. Mesquita, M. Vochozka. Vol. 908. Springer, Cham, 2020. P. 502–509.
  9. Прахова М.Ю., Заиченко Н.В., Закирничная М.М., Павлова З.Х. Система оценивания компетенций выпускников вуза // Проблемы современного педагогического образования. 2017. № 57–12. С. 237–243.
  10. Мартыненко О.О., Якимова З.В., Николаева В.И. Методический подход к оценке компетенций выпускников // Высшее образование в России. 2015. № 12. С. 35–45.
  11. Данилов А.Н., Гитман М.Б., Столбов В.Ю., Гитман Е.К. Система подготовки инженерных кадров в современной России: образовательные траектории и контроль качества // Высшее образование в России. 2018. Т. 27, № 3. С. 5–15.
  12. Чубарова О.И., Мокина Л.В., Фатхинуров А.Р. Оценка уровня сформированности компетенций студентов с применением метода взвешенных оценок // Наука и образование: новое время. 2015. № 5. С. 98–104.
  13. Ратинская Е.В. Применение аппарата нечетких множеств к оценке уровня сформированности компетенций обучающихся // Труды Братского государственного университета. Серия: Естественные и инженерные науки. 2017. Т. 2. С. 175–179.

Supplementary files

Supplementary Files Action
1.
Figure 1 - Three-dimensional cube of the results of monitoring the formation of graduates' competencies

Download (8KB) Indexing metadata

Statistics

Views

Abstract - 12

PDF (Russian) - 4

Cited-By


Article Metrics

Metrics Loading ...

PlumX

Dimensions

Refbacks

  • There are currently no refbacks.

Copyright (c) 2021 Makarov S.I.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies