Numpy И Многопроцессорность

Сейчас многие люди пользуются библиотекой.

бестолковый в ваших программах на Python, поскольку это значительно ускоряет работу с данными и выполнение математических операций.

Однако во многих случаях бестолковый работает во много раз медленнее, чем может. потому что использует только один процессор, хотя мог бы использовать все, что у вас есть.

Дело в том, что для выполнения многих операций бестолковый вызывает функции из библиотеки линейной алгебры.

Именно здесь обычно и кроется проблема.

К счастью, все довольно легко исправить.

Итак, возможны три ситуации:

• у вас не установлены никакие библиотеки линейной алгебры и тогда numpy использует встроенную библиотеку, и надо сказать, что она очень медленная;
• у вас уже установлены классические библиотеки вроде ATLAS и BLAS, и они могут использовать только один процессор;
• у вас установлены современные библиотеки OpenBLAS, MKL и подобные.

   

 import numpy as np
 size = 10000
 a = np.random.random_sample((size, size))
 b = np.random.random_sample((size, size))
 n = np.dot(a,b)
 

   

Те, у кого все процессоры в работе, могут порадоваться — у них все хорошо — и дальше можно не читать.

Решение для Windows

Я даже слышал, как кто-то писал, что видел людей, говорящих, что им это удалось.

В общем, проще всего установить научный дистрибутив Python, например.

Анаконда или Навес .

В дистрибутив входят не только питон И бестолковый , но и целая куча полезных библиотек для расчетов и визуализации.

После чего можно перезапустить первоначальный тест, чтобы убедиться, что скорость значительно увеличилась.

Решение для Linux

Анаконда , Навес или еще что со всеми библиотеками сразу.

Но если вы предпочитаете собирать его самостоятельно, то читайте дальше – все рецепты там.

Проверка библиотек

• у вас установлены «старые» (или «устаревшие», как вам нравится) библиотеки (например, ATLAS);
• у вас не установлены библиотеки, а numpy использует встроенную библиотеку (которая еще медленнее)

linux-vdso.so.1 => (0x00007fffe58a2000) libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f8adbff4000) libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f8adbdd6000) libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f8adba10000) /lib64/ld-linux-x86-64.so.2 (0x00007f8adc68c000)

Если вы не видите его в списке libblas.so , это значит твой бестолковый использует свою внутреннюю библиотеку.

Если вы это видите, значит, у вас есть ATLAS или BLAS. В любом случае сначала вам понадобится подходящая библиотека линейной алгебры.

Установка OpenBLAS

Прежде всего вам понадобится компилятор Фортрана, поскольку OpenBLAS несовместим со стандартным компилятором.

g77 .

sudo apt-get install gfortran

Загрузите OpenBLAS с github (после возвращения в соответствующий каталог для установки):

git clone https://github.com/xianyi/OpenBLAS.git

Теперь переходим в каталог и запускаем сборку:

cd OpenBLAS make FC=gfortran

После успешного завершения компиляции и сборки установите библиотеку.

sudo make install

По умолчанию библиотека будет установлена в /opt/OpenBLAS .

Если вы хотите установить его где-то еще, запустите сделать установку с ключом ПРЕФИКС :

sudo make install PREFIX=/your/preferred/location

Переназначение библиотек

• Нетворкинг Курсы Откроют Вам Глобальные Возможности

  19 Oct, 24

• «Мегафон» И Tele2 Попросили Правительство Помочь Им Снизить Цены На Роуминг

  19 Oct, 24

• Freenas 10 — Новое Лицо Старого Хранилища

  19 Oct, 24

• Спамеры Сдаются?

  19 Oct, 24

• Яндекс.функции, Sublime Text И Навыки Для Алисы

  19 Oct, 24

• Количество Бюджетных Мест В Вузах По Ит-Специальностям Увеличится На 35% В 2015 Году

  19 Oct, 24

• Sfpropelmemcacheплагин

  19 Oct, 24

• Пособие Для Стартапа. Полное Руководство По Запуску Y Combinator (Часть 2)

  19 Oct, 24

• Ноутбук От Playstation 3

  19 Oct, 24

• Доступны Видео Сессий Android На Google I/O 2012.

  19 Oct, 24