Анализ Вакансий С Использованием Кластеризации

В статье представлен метод анализа вакансий по поисковому запросу «Python» с использованием модели кластеризации Gaussian Mixture Model (GMM).

Для каждого выделенного кластера будут указаны наиболее востребованные навыки и диапазон заработной платы.

Почему было проведено это исследование? Я хотел знать:

• В каких областях применения используется Python?
• Какие знания потребуются: базы данных, библиотеки, фреймворки
• Насколько востребованы специалисты в каждой области?
• Какие зарплаты предлагаются?

Загрузка данных

По запросу был скачан "Питон" 1994 вакансий (Московская область), которые были разделены на обучающую и тестовую выборки, пропорционально 80% И 20% .

Размер тренировочного набора - 1595 , размер теста - 399 .

Набор тестов будет использоваться только в разделах «Высшие/антитоповые навыки» и «Классификация должностей».

Знаки

н-грамм слова:

• 2-граммы на кириллице и латинице
• 1 грамм на латыни

После отбора n-грамм первая группа содержала 81 2-грамм, а вторая 98 1-грамм:

Позвольте мне привести вам пару примеров:

1. На первый взгляд «Докера» можно отнести ко второй группе критериев с весом от 4 до 6. Но упоминание «Докера» в вакансии, скорее всего, указывает на то, что вакансия будет на должность «DevOps-инженер».

   » Поэтому «Докер» попал в первую группу и получил вес 7.

2. «Java» также попадает в первую группу, потому что в большинстве рассматриваемых вакансий с наличием слова «Java» Java-разработчика ищут с оговоркой «знание Python будет дополнительным преимуществом».

   Также есть вакансии с поиском «оркестр одного человека».

   И первая, и вторая вакансии меня не интересуют, поэтому я хочу отделить их от остальных вакансий, соответственно наибольший вес я присваиваю «Яве» 9.

Конверсия данных

Далее в тексте под точка Под вакансией понимается вакансия, представленная таким вектором.

Пример: Допустим, список n-грамм содержит всего три значения:

№	н	н-грамм	Масса	Вакансии
1	2	на питоне	8	258
2	2	понимание принципов	8	221
3	1	sql	5	490

Тогда на вакансию с текстом.

Требования:

• Опыт разработки на Python от 3 лет.
• Хорошее знание sql

вектор равен [8, 0, 5].

Метрики

В нашем случае мы хотели бы посмотреть, есть ли какие-либо кластеры точек, которые мы будем считать кластерами.

Для этого я использовал алгоритм т-СН? преобразовать все векторы в двумерное пространство.

Суть метода заключается в уменьшении размерности данных при максимальном сохранении пропорций расстояний между точками множества.

Из формул довольно сложно понять, как работает t-SNE. Но мне понравился один пример, найденный где-то в Интернете: допустим, у нас есть шарики в трехмерном пространстве.

Каждый шарик соединяем со всеми остальными шариками невидимыми пружинками, которые никак не пересекаются и не мешают друг другу при пересечении.

Пружины действуют в обе стороны, т.е.

сопротивляются как расстоянию, так и приближению шариков друг к другу.

Система находится в устойчивом состоянии, шары неподвижны.

Если мы возьмем один из шариков и потянем его назад, а затем отпустим, то за счет силы пружин он вернется в исходное состояние.

Далее берем две большие тарелки и сжимаем шарики в тонкий пласт, не препятствуя перемещению шариков в плоскости между двумя пластинами.

Силы пружин начинают действовать, шарики движутся и в конце концов останавливаются, когда силы всех пружин уравновесятся.

Пружины будут действовать так, что шарики, которые находились близко друг к другу, останутся относительно близкими и плоскими.

То же самое и с удаленными шариками – они будут удалены друг от друга.

С помощью пружин и пластин мы преобразовали трехмерное пространство в двухмерное, сохранив в той или иной форме расстояния между точками! Я использовал алгоритм t-SNE только для визуализации набора точек.

Он помог выбрать метрику, а также выбрать веса для функций.

Если воспользоваться евклидовой метрикой, которой мы пользуемся в повседневной жизни, расположение вакансий будет выглядеть так:



На рисунке видно, что большая часть точек сосредоточена в центре, а по бокам имеются небольшие ответвления.

При таком подходе алгоритмы кластеризации, использующие расстояния между точками, ничего хорошего не дадут. Существует большое разнообразие метрик (способов определения расстояния между двумя точками), которые хорошо работают с изучаемыми данными.

Я выбрал в качестве меры Расстояние Жаккара , принимая во внимание веса в n-граммах.

Мера Жаккара проста для понимания и хорошо подходит для решения поставленной задачи.

Пример : Задание 1 содержит n-граммы: «python», «sql», «docker».

Задача 2 содержит n-граммы: «python», «sql», «php».

Вес: «на питоне» — 8 «sql» - 5 «докер» — 7 «ФП» — 9 Пересечение многих (n-грамм встречается на 1-й и 2-й вакансиях) : "в питоне", "sql" = 8 + 5 = 13 Союз наборов (все n-граммы из 1-й и 2-й вакансий) : «python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29 Расстояние =1 – (Пересечение множеств/Объединение множеств) = 1 – (13/29) = 0,55

Среднее расстояние оказалось 0,96, между 619 659 расстояние равно 1 (т.е.

сходства нет вообще).

На следующей диаграмме показано, что в целом эти профессии мало похожи:



Используя метрику Жаккара, наше пространство теперь выглядит так:



Появились четыре отдельные области плотности и два небольших скопления с низкой плотностью.

По крайней мере, это то, что видят мои глаза!

Кластеризация

Алгоритм получает входные данные в виде векторов, а параметр n_comComponents — это количество кластеров, на которые необходимо разбить набор.

Вы можете увидеть, как работает алгоритм Здесь (по-английски).

Я использовал готовую реализацию GMM из библиотеки scikit-learn: sklearn.mixture.GaussianMixture .

Замечу, что GMM не использует метрику, а делит данные только по набору признаков и их весам.

В статье расстояние Жаккара используется для визуализации данных, расчета компактность кластеров (за компактность я взял среднее расстояние между точками кластера), а определение центральная точка кластера (типичная вакансия) — точка с наименьшим средним расстоянием до других точек кластера.

Многие алгоритмы кластеризации используют расстояние между точками.

В разделе «Другие методы» речь пойдет о других видах кластеризации, которые основаны на метриках и тоже дают хорошие результаты.

В предыдущем разделе на глазок было определено, что кластеров, скорее всего, будет шесть.

Вот как выглядят результаты кластеризации при n_comComponents = 6:







На рисунке с выводом кластеров по отдельности кластеры расположены в порядке убывания количества точек слева направо, сверху вниз: кластер 4 — самый большой, кластер 5 — самый маленький.

Для каждого кластера в скобках указана его компактность.

На вид кластеризация получилась не очень хорошей, даже если учесть, что алгоритм t-SNE не идеален.

При анализе кластеров результат также не обрадовал.

Чтобы найти оптимальное количество кластеров n_comComponents, мы используем критерии AIC и BIC вы можете прочитать о Здесь .

Расчет этих критериев встроен в метод sklearn.mixture.GaussianMixture .

Вот как выглядит график критериев:



При n_comComponents = 12 критерий BIC имеет наименьшее (лучшее) значение, критерий AIC также имеет значение, близкое к минимальному (минимум при n_comComponents = 23).

Разобьем вакансии на 12 кластеров:







Кластеры теперь имеют более компактную форму как визуально, так и численно.

В ходе ручного анализа вакансии были разделены на характерные для понимания человека группы.

На рисунке показаны названия кластеров.

Кластеры под номерами 11 и 4 обозначены как :

1. В кластере 11 все функции имеют примерно одинаковый общий вес.

2. Кластер 4 был идентифицирован на основе Java. Тем не менее, вакансий на должность Java Developer в кластере немного; знание Java часто требуется как «дополнительный плюс».

Кластеры

Обозначения: С — доля вакансий, в которых встречается данная функция, умноженная на вес функции.

% — процент вакансий, в которых встречается знак/2-грамм Типичная вакансия кластера — вакансия с наименьшим средним расстоянием до других точек кластера

Аналитик данных

Разработчик С++

Linux/DevOps-инженер

Python-разработчик

Специалист по данным

Фронтенд-разработчик

Бэкэнд-разработчик

DevOps-инженер

Инженер данных

Инженер QA

• Добавление Видео На Ваш Сайт Или Блог

  19 Oct, 24

• Фас Возбудила Дело Против Российского Офиса Lenovo Из-За «Систематических Препятствий Расследованию»

  19 Oct, 24

• Как Микротик Видит Соседей. Обновление Обнаружения Соседей В Routeros 6.38

  19 Oct, 24

• Mail.ru Агент 3.0 Для Ios: Новый Интерфейс, Экономия Трафика И Многое Другое

  19 Oct, 24

• В Jquery, Начиная С Версии 1.8, Можно Исключить Некоторые Модули

  19 Oct, 24

• Keyweb.ru Снова Зависает. Куда Идти?

  19 Oct, 24

• Металлурги Умирают. Опыт Ремонта Цифровой Техники.

  19 Oct, 24

• Новогодняя Сборка Оперы 10

  19 Oct, 24

• Нижний Новгород Для Айтишника: Перспективы Работы И Возможности Для Жизни

  19 Oct, 24

• Защита Игр И Мобильных Приложений От Взлома Для Чайников (Unity, C#, Mono)

  19 Oct, 24