Modeling the assessment of the quality of students’ professional competencies development

Full Text

Формирование комплекса компетенций, необходимых для будущей профессиональной деятельности, – глобальная цель профессионального образования, определяющая параметры системы обучения. Перечень профессиональных и общих компетенций регламентирован образовательным стандартом профессиональной подготовки и детализирован в локальных правовых документах образовательного учреждения. Таким образом, каждое учреждение высшего образования имеет вполне определенный перечень требований к результатам обучения, представленный как в обобщенных формулировках, так и в виде конкретных критериев, составляющих фонд оценочных средств.

Оценка уровня освоения компетенций является мерой качества профессиональной подготовки выпускника вуза. Средствам и методам такой оценки посвящено немало научных исследований (напр., [1]). Предложены различные подходы к определению не столько уровня полученных знаний, сколько уровня готовности выпускника к выполнению профессиональных задач. Большой интерес для науки и педагогической практики представляют разработка методов, средств, технологий и процедур педагогической квалиметрии, диагностики, коррекции.

Оценка качества формирования компетенций обучающихся является мерой эффективности работы учебного заведения и его структурных подразделений. Она необходима для внутреннего и внешнего мониторинга, корректировки педагогического процесса, рейтинговой оценки. «Интегральные оценки качества образования служат основой современного управления вузом и его образовательной средой» [2]. В качестве факторов, влияющих на качество образования, специалисты называют различные критерии: качество управления учебным заведением, качество персонала, учебных программ, учебно-образовательного процесса, инфраструктуры, учебной среды, набора учащихся и т.д. [3; 4].

В научной литературе, посвященной проблематике квалиметрии в педагогике, описаны различные системы оценки качества образования. Однако в большей степени эти исследования посвящены оценке комплексных показателей, значимых при проведении процедур лицензирования учебного заведения и аккредитации программ. Вместе с тем не менее значимой научной проблемой является обоснование и разработка методов «внутреннего аудита», позволяющих определить слабые места в системе подготовки, выявить и устранить недостатки, перераспределить ресурсы учебного времени, квалифицированные педагогические кадры, оптимизировать использование оборудования и т.д. С такой позицией согласуется мнение о том, что «прежде чем представлять вуз для внешней оценки, необходимо провести внутреннее маркетинговое исследование, которое позволит получить необходимые данные для анализа и дальнейшего развития вуза. Детализация образовательных процессов дает возможность выделить факторы, влияющие на качество» [5]. Становится очевидной важность задачи достоверного и информативного анализа степени влияния формирующих факторов на конечный результат обучения.

Поиск путей решения поставленной задачи приводит к идее использования математических методов. Подход с позиций математического моделирования особенно актуален в нынешний период цифровизации соцально-экономических отношений, когда информационные (цифровые) технологии становятся ключевым инструментом профессиональной деятельности, хозяйственных отношений и управленческих решений. Развитие цифровой инфраструктуры, переход к цифровым формам взаимодействия, пропаганда инноваций, совершенствование информационно-методического обеспечения педагогической деятельности обозначены как важнейшие направления реформирования образования [6]. Важен каждый шаг в направлении разработки технологий цифрового управления. «Изменения в технологиях, начавшиеся во второй половине XX в., влекут за собой необходимость технологического переоснащения системы образования, которые не ограничиваются процессами компьютеризации или информатизации. Современные тенденции глобализации, трансформации и модернизации затрагивают все уровни системы образования. Цифровая революция сегодня уже не может пониматься только как переход от аналоговых устройств к цифровым устройствам, поскольку вышла на новый, более высокий уровень внедрения, охватывает все больше сфер деятельности, в том числе образование» [7].

Авторами статьи предлагались некоторые математические модели для обработки результатов исследований в области педагогики [8], маркетинга, социологии. В настоящей статье предложен способ определения вклада каждого из субъектов в конечный результат обучения. Методология исследования включает как общенаучные, так и математические методы: теоретический анализ проблемы на основе анализа научной литературы, обобщение опыта для определения путей решения проблемы, математическое моделирование, использование фундаментальных основ векторной и матричной алгебры для решения прикладных задач.

Поставим задачу построения математической модели целенаправленного педагогического процесса, в которой конечная цель обучения определяется совокупностью компетенций, каждая из которых формируется несколькими субъектами. В зависимости от поставленных задач, в качестве субъектов могут выступать отдельные структурные подразделения образовательного учреждения, кафедры, а также дисциплины учебной программы, виды учебных занятий и т.д. В соответствии с принципами математического моделирования, искомая зависимость должна достаточно корректно и лаконично отражать значимые свойства и закономерности процесса, быть простой и удобной в использовании, иметь возможность реализации в виде компьютерных программ. В качестве теоретической основы возьмем используемую в экономико-математических исследованиях модель многоотраслевой экономики. Предложенная академиком В.В. Леонтьевым балансовая модель закрытой экономической системы позволяет решать множество задач планирования, распределения ресурсов между субъектами, определения оптимальных параметров системы. В некотором смысле, с необходимыми в моделировании рестрикциями, формализованное описание образовательной системы имеет общие характерные черты с экономическими системами: каждый компонент системы производит и потребляет произведенный другими компонентами однородный продукт, так что общий объем продукции отвечает линейным балансовым соотношениям.

Если в высшем учебном заведении выбрать любое направление подготовки, то существует некоторое конечное число дисциплин, в процессе преподавания которых, формируется некоторое конечное число компетенций выпускника учебного заведения. Например, при подготовке в Самарском государственном экономическом университете бакалавров по направлению 38.03.01 Экономика, дисциплина «Математический анализ» нацелена на формирование у выпускника общепрофессиональной компетенции ОПК-2, выражающейся в способности будущего бакалавра «осуществлять сбор, анализ и обработку данных, необходимых для решения профессиональных задач». Согласно учебному плану вуза, эта же компетенция формируется и при изучении других дисциплин. Предшествующими дисциплинами являются Линейная алгебра, Микроэкономика, Технологические основы производства, Экология; последующими, завершающими формирование компетенции, – Методы моделирования и прогнозирования в экономике, Теория вероятностей и математическая статистика, Методы оптимальных решений, Экономический анализ. Некоторые дисциплины могут быть задействованы в формировании нескольких компетенций. В научном исследовании М.Ю. Праховой, Н.В. Заиченко, М.М. Закирничной, З.Х. Павловой [9], оценка компетентности выпускников вуза связана с проблемой оценки значимости каждой из дисциплин. «Практически все компетенции (за редким исключением) формируются несколькими дисциплинами, что затрудняет разработку валидных способов количественной оценки. Фактически требуется измерять уровень освоения компетентности через оценивание ее отдельных составляющих, а это влечет за собой установление весовых коэффициентов, т.е. ранжирование дисциплин по значимости вклада в формирование компетенции».

Поставим задачу оценки вклада каждой из названных дисциплин учебного плана в общий результат. На начальном этапе изучения дисциплины студенты проходят диагностическое тестирование с целью определения стартового уровня подготовки. Содержание тестовых заданий ориентировано на проверку знаний, умений и навыков по предшествующим дисциплинам или уровня владения необходимыми школьными знаниями, если данная дисциплина изучается на первом курсе. Более сложную процедуру представляет собой итоговая оценка уровня сфомированности компетенций по окончании обучения.

Рассмотрим произвольное направление подготовки бакалавра, специалиста или магистра. Будем считать, что на данном направлении изучается n дисциплин X1, X2, …, Xn, которые формируют n компетенций Y1, Y2, …, Yn. Можно определить «ценность» каждой дисциплины в формировании профессиональных компетенций, проведя ранжирование, например, методом экспертных оценок. Предположим, что вклад каждой из дисциплин X1, X2, …, Xn в формирование i-ой компетенции Yi дисциплины соответственно равен ai1, ai2, …, ain, причем ai1+ ai2+…+ ain=1. Эти числа являются весовыми коэффициентами каждой дисциплины при формировании i-ой компетенции Yi. Таким образом задана структурная матрица формирования компетенций:

$A={\left(\begin{array}{cccc}{a}_{11}& a_{21}& ...& a_{n1}\\ a_{21}& a_{22}& ...& a_{n2}\\ & & ...& \\ a_{n1}& a_{n2}& ...& a_{n3}\end{array}\right)}_{n\times n}$.

Пусть уровень сформированности каждой из компетенций Y1, Y2, …, Yn представлен в виде набора чисел y1, y2, …, yn, где $0\le y_i\le 1, i=\overline{1,n}$. Следовательно, задан n-мерный вектор сформированности профессиональных компетенций $\overline{Y}(y_1,y_2, ..., y_n)$ с координатами $0<y_i\le 1, i=\overline{1,n}$ на момент окончания обучающимся высшего учебного заведения. Государственными образовательными стандартами предусмотрены пороговые уровни сформированности каждой компетенции, которые можно интерпретировать некоторым набором из n чисел $0<z_i<1, i=\overline{1,n}$. Эти числа определяют диапазон, в котором должны находиться значения сформированных профессиональных компетенций $z_i\le y_i\le 1, i=\overline{1,n}$. Полученные в результате мониторинга данные о сформированности компетенций визуализируются в векторном виде.

На рисунке 1 показана векторная интерпретация результатов мониторинга сформированности компетенций выпускников вуза при наличии трех компетенций. Здесь области C и Cp множества трехмерных точек возможных и допустимых результатов тестирования соответственно. Вектор ${\overline{Y}}_I$ иллюстрирует уровень сформированности компетенций выпускников с «идеальными характеристиками» ${\overline{Y}}_I(1, 1, ..., 1)$, вектор ${\overline{Y}}_p$ визуализирует результаты, не удовлетворяющие пороговым требованиям.

Рисунок 1 – Трехмерный куб результатов мониторинга сформированности компетенций выпускников

Если количество компетенций для мониторинга превосходит три (n > 3), то построить куб и векторы результатов мониторинга в n-мерном пространстве не представляется возможным. Однако, существует прием, позволяющий работать с n-мерными векторами графически, используя развертку вектора на плоскость в виде лепестковой диаграммы.

Кроме того, имелся некоторый начальный уровень сформированности рассматриваемых компетенций до начала обучения обучающегося в вузе, то есть известен начальный вектор сформированности профессиональных компетенций ${\overline{Y}}_0(y_1^0, y_2^0, ..., y_n^0)$, где $0\le y_i^0\le y_i\le 1, i=\overline{1,n}$.

Обозначим xj интегральный численный показатель качества подготовки по дисциплине Xj при формировании профессиональных компетенций, зависящий от выбора преподавателем учебного контента, педагогического мастерства, организации учебного процесса по дисциплине и т.д. Составим вектор $\overline{X}(x_1, x_2, ..., X_n)$, определяющий качество подготовки по всем дисциплинам, формирующим профессиональные компетенции Y1, Y2, …, Yn.

В предположении, что зависимость между качеством подготовки обучающихся по всем дисциплинам и сформированностью профессиональных компетенций линейна, запишем следующее равенство:

$\left(\begin{array}{cccc}{a}_{11}& a_{21}& ...& a_{n1}\\ a_{21}& a_{22}& ...& a_{n2}\\ & & ...& \\ a_{n1}& a_{n2}& ...& a_{n3}\end{array}\right)\times \left(\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right)+\left(\begin{array}{c}{y}_1^0\\ y_2^0\\ ...\\ y_n^0\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right)$,

или в матричной форме:

$A\times \overline{X}+{\overline{Y}}_0=\overline{Y}$.

Если матрица А невырожденная, то из последнего равенства можно выразить вектор $\overline{X}$, определяющий качество подготовки по всем дисциплинам:

$\overline{X}=A^{-1}\times (\overline{Y}-{\overline{Y}}_0)$.

Координаты вектора можно использовать для анализа качества учебного процесса по выбранным дисциплинам при формировании рассмотренных компетенций. Заметим, что согласно сказанному выше, численные значения координат данного вектора трактуются как показатели качества подготовки по дисциплине. Факторы, влияющие на значение показателя, устанавливаются на этапе формализации задачи в процессе моделирования. Оценка степени влияния факторов на интегральный показатель представляет отдельную проблему, и способы к ее решению также могут быть основаны на приведенном принципе вычисления.

Мы рассмотрели случай, когда количество изучаемых дисциплин совпадает с количеством формируемых компетенций. Предположим, что на направлении изучается n дисциплин X1, X2, …, Xn, которые формируют m компетенций Y1, Y2, …, Ym.

Если количество дисциплин больше количества формируемых компетенций (n > m), то можно добавить n – m фиктивных компетенций Ym + 1, Ym + 2, …, Yn, которые имеют близкий к нулю вклад в их формирование каждой дисциплины. Если количество дисциплин меньше количества формируемых компетенций (n < m), то можно добавить m – n фиктивных дисциплин Xn + 1, Xn + 2, …, Xm, вклад которых во все рассматриваемые компетенции очень мал. При анализе результатов расчета фиктивные компетенции и фиктивные дисциплины исключаются из рассмотрения.

Другой подход к выравниванию количества дисциплин и компетенций состоит во временном отбрасывании наиболее несущественных n – m дисциплин, мало влияющих на формирование компетенций в первом случае и m – n наиболее незначимых компетенций во втором случае, либо поблочное исследование влияния дисциплин на формирование компетенций.

В результате получаем модель формировании профессиональных компетенций, в которой количество дисциплин равно количеству формируемых компетенций (m = n). Далее можно применять алгоритм расчета оценки качества преподавания в вузе, изложенный выше.

В качестве замечания отметим, что одной из предпосылок использования приведенного метода является наличие n-мерного вектора сформированности профессиональных компетенций $\overline{Y}(y_1, y_2, ..., y_n)$ на момент окончания обучающимся высшего учебного заведения. Как получить значения координат этого вектора, и какие статистические данные для этого необходимо иметь? Многообразны существующие точки зрения по вопросу методики оценки. Мы склоняемся к мнению авторов работы, предлагающих «проверять уровень остаточных знаний и умений в форме компьютерного тестирования и отдельно в форме решения ситуационных заданий (кейсов), выполняемых студентами в ходе экспертизы за выделенное время. Окончательный результат оценки получается путем «свертки» результатов оценивания по всем циклам дисциплин, выбранных для проверки» [10]. Заслуживает внимания и проработка данного вопроса в работах М.Ю. Праховой, предлагающей сочетать шкалированный и интегральный методы в накопительной форме за весь период обучения. «На первом этапе происходит оценка отдельных составляющих компетенции в ходе промежуточной аттестации по дисциплине или по практике, а на втором этапе – оценка всей компетенции (или группы связанных компетенций) в ходе государственной итоговой аттестации с учетом портфолио выпускника. В него должны включаться все личные достижения выпускника, фиксируемые на протяжении всего времени обучения» [9]. Группу общекультурных компетенций, связанных с личностной компонентой выпускника, предложено оценивать по результатам прохождения учебных или производственных практик.

Вместе с тем, остается открытым вопрос о математических методах обработки полученных результатов, получения многокритериальной интегральной (итоговой) оценки. Можно выделить несколько групп методов численной оценки сформированности профессиональных компетенций. В большинстве методических разработок используются статистические методы анализа данных [11], как, например, метод взвешенных оценок [12], кластерный анализ, а также методы экспертных оценок, использование аппарата нечетких множеств [13] и др. Несомненно, проблему нельзя считать решенной. Специфика вопроса активно обсуждается и является перспективным направлением исследований в контексте проблематики настоящей статьи.

About the authors

Sergey Ivanovich Makarov

Author for correspondence.
Email: matmaksi@yandex.ru

doctor of pedagogical sciences, professor, head of Higher Mathematics and Economic-Mathematical Methods Department

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Figure 1 - Three-dimensional cube of the results of monitoring the formation of graduates' competencies

Download (8KB)

Indexing metadata