Научный журнал
Вестник Алтайской академии экономики и права
Print ISSN 1818-4057
Online ISSN 2226-3977
Перечень ВАК

НЕЙРОННЫЕ СЕТИ В ЭКОНОМЕТРИЧЕСКОМ МОДЕЛИРОВАНИИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА В ВУЗЕ

Бакуменко Л.П. 1 Бурков А.В. 1
1 ФГБОУ ВО «Марийский государственный университет»
В данной статье рассматривается разработка и применение эконометрических нейросетевых моделей для оценки результатов успеваемости студентов как критерия качества получаемого образования. В качестве информационной базы исследования послужили данные проведенного анкетирования среди студентов экономического, физико-математического и электроэнергетического факультетов, также данные по отчисленным студентам, представленным деканатами ЭФ и ФМФ Института цифровых технологий Марийского государственного университета. В рамках исследования были рассмотрены две эконометрические нейросетевые модели. В первой, в качестве зависимой переменной выступает показатель «Количество академических долгов», а во второй – показатель «Количество пропусков». Для каждой из моделей были построены пять видов нейронных сетей. Были оценены основные характеристики сетей и выбраны наилучшие модели. Для обоснования практической значимости в работе приведены примеры использования построенных моделей.
моделирование
эконометрические модели
математические методы
нейронные сети
качество образования
1. Burkov A.V. The use of logit and probit regression models in the process of graduates’ employment // International Journal of Scientific and Technology Research. 2019. Т. 8, № 11. С. 3005-3012.
2. Бакуменко Л.П. Моделирование эффективности работы системы высшего образования (вузов) Приволжского федерального округа // Вестник Забайкальского государственного университета. 2021. Т. 27, № 10. С. 85-93.
3. Пономарева Е.А., Савина А.Д., Антоненко Н.С. Риск-ориентированное регулирование российских вузов: индикаторы риска и их использование для целей государственного контроля // Высшее образование в России. 2023. Т. 32, № 2. С. 43-60. DOI 10.31992/0869-3617-2023-32-2-43-60.
4. Ливинская В.А., Шалухова М.А. Применение методов прикладной статистики в исследовании рынка труда IT-специалистов // Системный анализ и прикладная информатика. 2022. № 2. С. 47-52.
5. Меликян А.В. Подготовка IT-специалистов в российских вузах: статистический анализ // Вопросы статистики. 2022. Т. 29, № 6. С. 74-83. DOI 10.34023/2313-6383-2022-29-6-74-83.
6. Бабич С.Г., Дарда Е.С., Маркович Е.Д. Изучение динамики и прогнозирование основных показателей высшего образования в Российской Федерации // Экономика и предпринимательство. 2023. № 7(156). С. 204-213. DOI 10.34925/EIP.2023.156.7.033.

Целью исследования является разработка достоверных эконометрических моделей для оценки результатов успеваемости студентов как критерия качества получаемого образования, а также выявление факторов, влияющих на успеваемость, посещаемость студентов и отчисление из вуза. Исследование факторов, влияющих на конкурентоспособность будущего выпускника уже поднималась в научной литературе и в настоящее время в свете современных социально-экономических преобразований звучит как никогда актуально [1, 2]. Качество образования и конкурентоспособность выпускников тесно взаимосвязана с риск-ориентированным регулированием российских вузов и должны использоваться в государственном регулировании образовательной деятельности [3].

Эмпирическая задача состояла в построении статистических нейросетевых моделей различных видом. Для проведения анализа были использованы инструменты многомерной статистики и нейронных сетей в пакете Statistica, программирование в среде R, которые уже доказали свою достоверность и надежность [4].

Материалы и методы исследования

Основным информационным источником для проведения исследования стали данные проведенного анкетирования среди студентов экономического, физико-математического и электроэнергетического факультетов, также данные по отчисленным студентам, представленным деканатами ЭФ и ФМФ Института цифровых технологий Марийского государственного университета.

Сбор данных производился посредством онлайн анкетирования студентов в течение двух месяцев (март и апрель) 2023 года.

В анкетировании принимали участие студенты 38 учебных групп. Каждой группе был присвоен индивидуальный код. В исследовании приняли участие студенты по следующим направлениям и профилям:

• 01.03.01 Математика (Математические и инструментальные методы в экономике),

• 01.03.01 Математика (Математические методы в экономике),

• 01.03.01 Математика (Математическое моделирование, нейросетевые технологии и анализ больших данных),

• 02.03.03 Математическое обеспечение и администрирование информационных систем (Интеллектуальные системы и базы данных),

• 03.03.02 Физика (Медицинская физика),

• 09.02.07 Информационные системы и программирование (СПО),

• 09.03.02 Информационные системы и технологии (Разработка мобильных и web-приложений),

• 09.03.02 Информационные системы и технологии (Современные радиолокационные системы дальнего обнаружения),

• 13.03.02 Электроэнергетика и электротехника (Электроснабжение по отраслям),

• 22.02.01 Материаловедение и технологии материалов (Технология производства радиоэлектронной компонентной базы и систем),

• 38.03.01 Экономика (Бизнес-статистика и аналитика),

• 38.03.01 Экономика (Финансовая и прикладная экономика),

• 38.03.01 Экономика (Цифровая экономика),

• 43.03.01 Сервис (Сервисная деятельность в бизнесе),

• 43.03.01 Сервис (Управление бизнесом),

• 43.03.01 Сервис (Цифровой маркетинг и бизнес-аналитика).

Всего в анкетировании принимали участие 290 студентов. По каждому студенту были собраны данные по 12 параметрам, качественные показатели были переведены в количественные. Список параметров и их расшифровка представлены в таблице (таблица 1).

Таблица 1

Переменные для моделей

Независимая переменная

Расшифровка значений (кодирование переменных)

Форма финансирования

1 – Бюджет;

0 – Внебюджет

Курс

Первый – 1; Второй – 2; Третий – 3; Четвертый – 4

Пол

Мужской – 1;

Женский – 0

Возраст

17 – 1; 18 – 2; 19 – 3; 20 – 4; 21 – 5; 22 – 6; 23 – 7; 33 – 8

Территориальное

происхождение

Город – 1;

Сельская местность – 2;

Другая страна – 3

Общежитие

Проживаю – 1;

Не проживаю – 0

Количество пропусков

 

Количество долгов

 

Средний балл зачётной книжки

 

Результаты ЕГЭ

 

Средний балл по аттестату

 

В рамках исследования были рассмотрены две модели. В первой, в качестве зависимой переменной выступает показатель «количество академических долгов», а во второй – показатель «количество пропусков». Для каждой из моделей были построены нейросетевые модели.

Результаты исследования и их обсуждение

Рассмотрим результаты построения нейросетевых моделей, описывающих зависимость «Количества долгов» от вышеперечисленных независимых переменных. Для определения наиболее точной регрессионной модели были рассмотрены несколько типов нейронных сетей:

• Linear – линейная нейронная сеть.

• MLP – многослойный персептрон.

• RBF – нейронная сеть радиально-базисных функций.

• GRNN – обобщенная нейронная сеть.

Всего было проанализировано 20 сетей (каждой нейронной сети был присвоен условный порядковый номер от 1 до 20) различных типов и с различным количеством слоев и нейронов на слое. Результатом анализа явились 5 нейронных сетей, имеющих наивысшую точность. Результат представлен в таблице (таблица 2).

Наилучшей регрессионной нейросетевой моделью зависимости количества академических долгов от заданных переменных является модель многослойного персептрона с одним входным, двумя скрытым и одним выходным слоем, с пятью нейронами на входном слое, десятью и четырьмя на скрытых слоях и одним нейроном на выходном слое (нейронная сеть с порядковым номером восемь). Точность модели на тестовой выборке равна 88%. В пятерку лучших нейросетей также входят как линейные нейронные сети, так и многослойные персептроны.

Ниже представлены описательные параметры построенных регрессионных нейросетевых моделей (таблица 3) и их графическая реализация (рисунок 1). Из описательных параметров моделей можно сделать вывод о том, что средняя ошибка моделирования не превышает 3%. У наилучшей модели с порядковым номером восемь средняя ошибка моделирования равна 0,6%.

Теперь перейдем к анализу чувствительности построенных моделей (таблица 4). Наибольшее влияние на зависимую переменную лучшей модели оказывают такие факторы, как «Пол» и «Средний балл по аттестату».

Графическое представление построенных нейронных сетей отображено на рисунке 1.

Таблица 2

Наилучшие регрессионные модели

Архитектура

сети

Производ. обучения

Контрольн. производит.

Тест. производ.

Ошибка обуч.

Контрольн. ошибка

Тест. ошибка

Входы

Скрытый слой №1

Скрытый слой №2

6

Linear 2:2-1:1

0,943

0,945

1,047

0,176

0,119

0,126

2

0

0

7

Linear 3:3-1:1

0,911

0,921

1,022

0,170

0,116

0,125

3

0

0

8

MLP 5:5-10-4-1:1

0,733

0,914

1,048

0,137

0,115

0,124

5

10

4

9

MLP 3:3-4-1:1

0,788

0,888

1,064

0,147

0,112

0,127

3

4

0

10

MLP 5:5-10-7-1:1

0,729

0,875

1,072

0,136

0,110

0,128

5

10

7

Таблица 3

Параметры регрессии (здесь номера – это номера моделей)

Параментры модели

Количество долгов.6

Количество

долгов.7

Количество

долгов.8

Количество

долгов.9

Количество долгов.10

Среднее

0,142

0,142

0,142

0,142

0,142

Стандартное отклонение

0,476

0,476

0,476

0,476

0,476

Средняя ошибка

0,023

0,027

-0,006

0,012

0,013

Ст.откл.ошибки

0,456

0,442

0,386

0,403

0,384

Абс.средн.ошибки

0,268

0,278

0,215

0,202

0,200

Отношение ст.откл.

0,956

0,929

0,811

0,845

0,806

Корреляция

0,299

0,378

0,586

0,536

0,593

Таблица 4

Анализ чувствительности регрессионных моделей (здесь номера – это номера моделей)

Параметры

модели

Пол

Территориальное

происхождение

Количество

пропусков

Средний балл

зачётной книжки

Средний балл

по аттестату

Отношение.6

1,015

1,028

     

Ранг.6

2,000

1,000

     

Отношение.7

1,005

1,028

 

1,033

 

Ранг.7

3,000

2,000

 

1,000

 

Отношение.8

1,124

1,107

1,013

1,066

1,117

Ранг.8

1,000

3,000

5,000

4,000

2,000

Отношение.9

 

1,075

 

1,026

1,092

Ранг.9

 

2,000

 

3,000

1,000

Отношение.10

1,041

1,102

1,050

1,054

1,136

Ранг.10

5,000

2,000

4,000

3,000

1,000

missing image file

Рис. 1. Графическое представление построенных нейронных сетей по показателю «количество академических долгов» Источник: построено авторами с использованием программы Statistica 7.0

Проверка результатов применения выбранных моделей была проведена на нескольких условных примерах.

1. Студент имеет следующие параметры: пол: мужской, территориальное происхождение: другая страна, количество пропусков: 0, средний балл зачетной книжки: 3, средний балл по аттестату 3, количество долгов у данного студента равно 3. Значение зависимой переменной равно 2.89.

2. Студент имеет следующие параметры: пол: мужской, территориальное происхождение: сельская местность, количество пропусков: 3, средний балл зачетной книжки: 3, средний балл по аттестату 4, количество долгов у данного студента равно 1. Значение зависимой переменной равно 0.7.

3. Студент имеет следующие параметры: пол: женский, территориальное происхождение: город, количество пропусков: 2, средний балл зачетной книжки: 4, средний балл по аттестату 5, количество долгов у данного студента равно 0. Значение зависимой переменной равно 0.01.

Перейдем к анализу второго показателя «количество пропусков» и рассмотрим построение нейросетевых моделей, описывающих зависимость «количества пропусков» от вышеперечисленных независимых параметров. Как и в случае с «количеством долгов», для определения наиболее точной регрессионной модели были рассмотрены несколько типов нейронных сетей: Linear, MLP, RBF и GRNN. Было проанализировано 20 сетей различных типов и с различным количеством слоев и нейронов на слое. Результатом анализа явились 5 нейронных сетей, имеющих наивысшую точность. Результат представлен в таблице 5.

Рассмотрим параметры построенных моделей, представленные в таблице 5. Анализируя таблицу, авторы пришли к выводу о том, что наилучшей регрессионной моделью для оценки количества пропусков является модель №4 – это модель радиально-базисных функций с четырьмя нейронами на входном слое, 11 нейронами на скрытом слое и одним выходным нейроном (таблица 6).

На тестовой выборке, точность модели составила 95%, а средняя ошибка модели составила 18%.

Таблица 5

Наилучшие регрессионные модели

Архитектура

сети

Производ. обучения

Контрольн. производит.

Тест. производ.

Ошибка обуч.

Контрольн. ошибка

Тест. ошибка

Входы

Скрытый слой №1

Скрытый слой №2

1

GRNN 4:4-121-2-1:1

0,803

0,925

0,831

0,049

0,072

0,050

4

121

2

2

RBF 4:4-4-1:1

0,864

0,915

0,866

0,053

0,071

0,052

4

4

0

3

GRNN 4:4-121-2-1:1

0,871

0,910

0,890

0,054

0,070

0,053

4

121

2

4

RBF 4:4-11-1:1

0,819

0,905

0,859

0,050

0,070

0,052

4

11

0

5

RBF 4:4-8-1:1

0,789

0,900

0,780

0,049

0,070

0,047

4

8

0

Таблица 6

Параметры регрессии (здесь номера – это номера моделей)

 

Количество пропусков.1

Количество пропусков.2

Количество пропусков.3

Количество пропусков.4

Количество пропусков.5

Среднее

8,347

8,347

8,347

8,347

8,347

Стандартное отклонение

17,169

17,169

17,169

17,169

17,169

Средняя ошибка

-0,580

0,556

-0,737

0,184

0,253

Ст.откл.ошибки

14,642

15,157

15,262

14,752

14,206

Абс.средн.ошибки

8,501

9,204

8,841

9,048

8,921

Отношение ст.откл.

0,853

0,883

0,889

0,859

0,827

Корреляция

0,558

0,470

0,541

0,512

0,562

Таблица 7

Анализ чувствительности регрессионных моделей (здесь номера – это номера моделей)

Параметры модели

Возраст

Количество долгов

Результаты ЕГЭ

Средний балл по аттестату

Отношение.1

1,021

1,018

1,038

1,107

Ранг.1

3,000

4,000

2,000

1,000

Отношение.2

1,016

0,996

1,003

1,048

Ранг.2

2,000

4,000

3,000

1,000

Отношение.3

1,019

1,027

1,023

1,072

Ранг.3

4,000

2,000

3,000

1,000

Отношение.4

1,019

1,002

1,010

1,086

Ранг.4

2,000

4,000

3,000

1,000

Отношение.5

1,015

0,991

1,000

1,172

Ранг.5

2,000

4,000

3,000

1,000

missing image file

Рис. 2. Графическая реализация построенных моделей по показателю «количество пропусков» Источник: построено авторами с использованием программы Statistica 7.0

Анализ чувствительности модели показал, что на количество пропусков занятий студентом, наибольшее влияние оказывает «Средний балл по аттестату» и «Возраст», а наименьший «Количество долгов» (таблица 7).

На рисунке 2 представлены графические реализации построенных моделей.

Проверка результатов применения выбранных моделей была проведена на нескольких условных примерах.

1. Студент имеет следующие параметры: возраст: 19 лет, количество долгов: 0, результаты ЕГЭ: 251 балл, средний балл по аттестату: 5, количество пропусков у данного студента равно 3. Значение зависимой переменной равно 3.29.

2. Студент имеет следующие параметры: возраст: 18 лет, количество долгов: 0, результаты ЕГЭ: 218 баллов, средний балл по аттестату: 4.8, количество пропусков у данного студента равно 8. Значение зависимой переменной равно 7.35.

3. Студент имеет следующие параметры: возраст: 19 лет, количество долгов: 0, результаты ЕГЭ: 211 балл, средний балл по аттестату: 4.8, количество пропусков у данного студента равно 6. Значение зависимой переменной равно 5.20.

Заключение

Резюмирую вышеизложенное можно сделать следующие выводы.

Наилучшей регрессионной нейросетевой моделью зависимости количества академических долгов от заданных переменных является модель многослойного персептрона с одним входным, двумя скрытым и одним выходным слоем, с пятью нейронами на входном слое, десятью и четырьмя на скрытых слоях и одним нейроном на выходном слое (нейронная сеть с порядковым номером восемь). Точность модели на тестовой выборке равна 88%. В пятерку лучших нейросетей также входят как линейные нейронные сети, так и многослойные персептроны.

Наибольшее влияние на зависимую переменную лучшей модели оказывают такие факторы, как «Пол» и «Средний балл по аттестату».

Наилучшей из всех нейросетевых моделей, описывающих зависимость «Количества пропусков» от вышеперечисленных независимых параметров является модель радиально-базисных функций с четырьмя нейронами на входном слое, 11 нейронами на скрытом слое и одним выходным нейроном.

Анализ чувствительности модели показал. Что на количество пропусков занятий студентом, наибольшее влияние оказывает «Средний балл по аттестату» и «Возраст», а наименьший «Количество долгов».

Проверка построенных моделей на примерах доказала их практическую значимость.


Библиографическая ссылка

Бакуменко Л.П., Бурков А.В. НЕЙРОННЫЕ СЕТИ В ЭКОНОМЕТРИЧЕСКОМ МОДЕЛИРОВАНИИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА В ВУЗЕ // Вестник Алтайской академии экономики и права. – 2023. – № 11-2. – С. 167-173;
URL: https://vaael.ru/ru/article/view?id=3070 (дата обращения: 18.05.2024).