Корисни совети

Мрежи за суперкомпјутери

Дистрибуираната компјутери е еден начин да се придонесе за некои интересни проекти. Кога вашиот компјутер е без работа, споделете ја својата моќ со проектот СЕТИ, кој бара вонземски цивилизации. Во овој случај, вашиот компјутер ќе ги анализира сателитските податоци и информациите добиени од телескопите.

Оваа статија ќе ви помогне да се вклучите во проекти (како што е СЕТИ) кои вклучуваат дистрибуирано компјутери. Написот ве запознава и со BOINC, дистрибуиран компјутерски софтвер.

Потребен ви е компјутер. Ако веќе имате, одете во делот Извори и врски и инсталирајте го софтверот BOINC. Доколку не ве интересира проектот СЕТИ, подолу ќе најдете список на други проекти.

Ако многу пари

Одделно, ја забележуваме исклучително скапата, но продуктивна линија на процесори на приклучокот Intel Xeon LGA1567.
Врвен процесор во оваа серија е E7-8870 со десет јадра од 2,4 GHz. Неговата цена е 4616 долари. За вакви процесори, HP и Supermicro се ослободуваат! осум-процесор! сервер шасија. Осум 10-јадрени Xeon E7-8870 2,4 GHz процесори со поддршка за HyperThreading 8 * 10 * 2 = 160 навои, што е прикажано во Windows Task Manager како сто и шеесет графикони за оптеретување на процесорот, матрица 10x16.

Со цел осум процесори да се вклопат во случајот, тие не се ставаат веднаш на матичната плоча, туку на посебни табли што се лепат на матичната плоча. На фотографијата се прикажани четири матични плочи со процесори инсталирани на матичната плоча (по две). Ова е решение за Супермикро. Во решението HP, секој процесор има своја табла. Цената на решението за HP е два до три милиони, во зависност од бројот на процесори, меморија и многу повеќе. Шасијата Supermicro чини 10 000 долари, што е попривлечно. Покрај тоа, Supermicro може да стави четири картички за проширување на копроцесорот во портите PCI-Express x16 (патем, сè уште ќе има простор за адаптер за Infiniband да собере кластер од овие), но само во HP. Така, за да се создаде суперкомпјутер, платформата со осум процесори од Supermicro е попривлечна. Следната фотографија од изложбата го прикажува целосниот суперкомпјутер со четири табли со графички процесор.

Сепак, тоа е многу скапо.

Комуникациски мрежи

Ефективноста на суперкомпјутерот во многу апликации во голема мерка е одредена од профилот на работа со меморија и мрежа. Профилот на работа со меморија обично се опишува со просторно-временска локализација на повиците - според големината на повиците и расејувањето на нивните адреси, а профилот на работа со мрежата е опишан со дистрибуција на јазли со кои се разменуваат пораки, курсот и големината на пораките.

Изведбата на суперкомпјутерот на задачи со интензивна размена на податоци помеѓу јазли (проблеми со моделирање, проблеми на графикони и нередовни решетки, пресметки со користење на редовни матрици) главно е одредено од мрежната изведба, така што употребата на конвенционални комерцијални решенија (на пример, Гигабит Етернет) е исклучително неефикасна. Сепак, реалната мрежа е секогаш компромисно решение, во развојот на кое се поставени приоритети помеѓу цената, перформансите, потрошувачката на енергија и другите барања што во голема мерка се спротивставени: обидите за подобрување на една карактеристика можат да доведат до влошување на другата.

Комуникациската мрежа се состои од јазли, од кои секоја има мрежен адаптер поврзан на еден или повеќе рутери, кои за возврат се меѓусебно поврзани со брз комуникациски канали (врски).

Сл. 1. Топологија 4D-торус (3x3x3x3)

Мрежната структура, која одредува колку точно се поврзани меѓусебните јазли на системот, се определува со мрежната топологија (обично решетка, торс или дебело дрво) и збир на структурни параметри: број на мерења, број на нивоа на дрво, димензии на страните на торосот, број на прекинувачи на ниво на дрво, број на мрежни јазли пристаништа на рутери, итн. Слика 1 покажува пример за топологијата на тродимензионалниот торс 3x3x3x3.

Архитектурата на рутерот ја одредува структурата и функционалноста на блоковите одговорни за пренесување на податоците помеѓу мрежните јазли, како и потребните својства на протоколите на каналот, мрежата и транспортните слоеви, вклучувајќи рутирање, арбитража и алгоритми за контрола на проток на податоци. Архитектурата на мрежниот адаптер ја одредува структурата и функционалноста на блоковите одговорни за интеракција помеѓу процесорот, меморијата и мрежата, особено, операциите MPI се поддржани на ова ниво, RDMA (Remote Direct Memory Access - директен пристап до меморијата на друг јазол без учество на неговиот процесор), потврда за прием од друг јазол на пакетот, ракување со исклучителни ситуации, агрегација на пакети.

За да се процени перформансите на комуникациската мрежа, најчесто се користат три карактеристики: ширина на опсег (количина на пренесени податоци по единица време), одложување на комуникацијата (време за пренос на податоци преку мрежата), темпо на порака (обично, тие одделно ја земаат предвид стапката на испорака при испраќање, примање и пренесување на пакети помеѓу внатрешните единици на рутерот).

За комплетноста, овие карактеристики се мерат на различни типови сообраќај, на пример, кога еден јазол им испраќа податоци на сите други, или, обратно, сите јазли испраќаат податоци до еден, или кога сите јазли испраќаат податоци до случајни дестинации. Барањата за функционалност се наметнуваат на современите мрежи:

  • ефикасно спроведување на библиотеката Shmem, како опција за поддршка на едностран модел на комуникација и GASNet, на кој се базира имплементацијата на многу јазици PGAS,
  • ефикасно спроведување на MPI (обично ова бара ефикасна поддршка на механизмот на прстенести тампони и признанија за примени пакети),
  • ефективна поддршка за колективно работење: емитување (испраќање на исти податоци истовремено на многу јазли), намалување (примена на бинарна операција, на пример додавање, во збир на вредности добиени од различни јазли), дистрибуција на низа елементи преку множеството јазли (распрснувач), склопување низа на елементи, сместени на различни јазли (собираат),
  • ефективна поддршка за операции за синхронизација меѓу-јазли (барем синхронизација на бариерата), ефективна интеракција со мрежа на голем број процеси на јазол и обезбедување сигурна испорака на пакетите.

Исто така е значајна и ефикасната поддршка за работата на адаптерот со меморијата на домаќинот без вклучување на процесорот.

Странски брз мрежи

Сите комуникациски мрежи можат да се поделат на две класи: комерцијални и обичајни, развиени како дел од компјутерски системи и достапни само со нив. Меѓу трговските мрежи, пазарот е поделен помеѓу InfiniBand и Ethernet - во списокот Топ500 (јуни 2011 година), 42% од системите користат InfiniBand и 45% користат Gigabit Ethernet. Во исто време, ако InfiniBand е фокусиран на сегментот на системи со високи перформанси дизајнирани за сложени компјутерски задачи со голем број комуникации, тогаш Етернет традиционално зазема ниша каде размената на податоци помеѓу јазлите е некритична. Кај суперкомпјутерите, мрежата на Етернет, заради својата ниска цена и достапност, честопати се користи како помошна услужна мрежа со цел да се намали мешањето во контролниот сообраќај и сообраќајот на задачи.

Мрежата Inifiniband првично беше фокусирана на конфигурации со топологијата на масно дрво, но најновите верзии на прекинувачи и рутери (првенствено произведени од QLogic) ја поддржуваат повеќедимензионалната тополошка топологија (користејќи го рутерот моторот Torus-2QoS), како и хибридна топологија од 3Д торус и масно дрво. Суперкомпјутерот Sandia RedSky, склопен на почетокот на 2010 година и сега на 16-то место во Top500, е еден од првите големи проекти со мрежата InfiniBand и тополошки 3Д торус (6x6x8). Исто така, многу внимание сега се посветува на ефективната поддршка на работењето на RDMA и библиотеката Shmem (особено Qlogic Shmem).

Популарноста на InfiniBand се должи на релативно ниската цена, развиен екосистем на софтвер и ефективна поддршка за MPI. Сепак, InfiniBand има свои недостатоци: ниска стапка на достава на пораки (40 милиони пораки во секунда во најновите решенија од Mellanox), мала ефикасност на преносот на кратки пакувања, релативно големо доцнење (повеќе од 1,5 μs за пренесување јазол до јазол и дополнителни 0,1- 0,5 μs по транзитен јазол), слаба подршка за тороидната топологија. Во принцип, може да се тврди дека InfiniBand е производ за масовниот корисник и за време на неговиот развој е направен компромис помеѓу ефикасност и разноврсност.

Можеме да ја забележиме и мрежата Extoll, која се подготвува за лансирање на пазарот - развојот на Универзитетот во Хајделберг под раководство на професорот Улрих Брунинг. Главниот акцент во развојот на оваа мрежа е да се минимизираат одложувањата и да се зголеми стапката на испорака во еднонасочна комуникација. Планирано е дека Extoll ќе има топологија со 3Д торуси и ќе користи оптички врски со ширина на опсег од 10 Gb / s по лента (канал за сериски пренос на податоци во рамките на врската) и ширина од 12 ленти по врска. Сега има прототипови на мрежата на екстрал на FPGA: R1 - засновано на Virtex4, R2 Ventoux - распоред на два јазоли заснован на Virtex6. Еднонасочна ширина на опсег по линк е 600 MB / s (за R1). Twoе бидат поддржани и две интерфејси (HyperTransport 3.0 и PCI Express gen3) со процесор, што ќе овозможи интегрирање на оваа мрежа во платформите Intel и AMD. Extoll поддржува неколку начини на организирање на еднонасочни записи, сопствена MMU (единица за управување со меморија, блок на превод на виртуелни адреси во физички адреси) и атомски операции.

За разлика од комерцијалните мрежи, сопствените мрежи заземаат многу помал удел на пазарот, сепак тие се користат во најмоќните суперкомпјутери од Cray, IBM, SGI, Fujitsu, NEC и Bull. При дизајнирање сопствени мрежи, програмерите имаат поголема слобода и се обидуваат да користат попрогресивни пристапи заради помалата важност на привлечноста на пазарот на финалниот производ, решавајќи се пред се на проблемот со добивање максимални перформанси на одредена класа на задачи.

Суперкомпјутерот К Компјутер користи комерцијална мрежа за комуникација Tofu (TOrus FUsion), која е скалабилен 3Д торус чии јазли содржат групи од 12 јазли (групи на јазли се поврзани со 12 мрежи со 3Д торус, и секој јазол од оваа група има свој излез 3Д torus мрежа). Јазлите во рамките на секоја група се меѓусебно поврзани со 3Д торус со страни 2x3x4 без дупликатни врски, што е еквивалентно на 2Д торс со страни 3x4 (така добиваме 5D торс со фиксирани две димензии). Така, мрежниот јазол Tofu има 10 врски со еднонасочна моќност од 40 Gb / s секоја од нив. Синхронизацијата на бариерата на јазлите и намалувањето (цел број и плутачка точка) се поддржани во хардверот.

Главните цели во развојот на суперкомпјутерот Tianhe-1A беа да се постигне висока енергетска ефикасност, да се развие свој процесор и мрежа супериорна во однос на InfiniBand QDR. Суперкомпјутерот се состои од 7168 компјутерски јазли поврзани со мрежата Arch, со свој дизајн со густа топологија на дрво. Мрежата е изградена од рутери со 16 порти, еднонасочен опсег на опсег на врски - 8 GB / s, доцнење - 1,57 μs. Поддржани операциите на RDMA и се оптимизираат колективните операции.

Класичните претставници на системи кои користат тороидна топологија за комбинирање на компјутерските јазли се системи за серијалот IBM Blue Gene, во првите две генерации од кои - Blue Gene / L (2004) и Blue Gene / P (2007) - ја користеа топологијата за 3D торус. Мрежата во Blue Gene / P има релативно слаби врски со еднострана ширина на опсег од 0,425 GB / s, што е нарачка со големина помала од широчината на опсегот на нејзината современа InfiniBand QDR врска, сепак, хардверската поддршка за синхронизација на бариерите и колективни операции (на посебни мрежи налик на дрво) овозможува добра приспособливост на вистински апликации. Покрај тоа, сите интерфејси и единиците за рутирање се интегрирани во BPC микропроцесорот (Blue Gene / P Chip), што значително ги намалува одложувањата на преносот на пораките. Следната генерација на комуникациска мрежа Blue Gene / Q има топологија од 5D-tor, и за разлика од неговите претходници, таа нема посебни мрежи за бариери за синхронизација и колективно работење. Чипот Blue Gene / Q за прв пат стана мулти-јадрен-мулти-конец - четири хардверски навои по јадро со 16 јадра, што овозможува слабеење на мрежните барања и обезбедување толеранција на доцнење. Производната моќност на линкот е зголемена на 2 GB / s, но сепак останува мала во споредба со Cray Gemini или Extoll. Нискиот пропусен опсег кај овие системи е израмнет со големата димензија на торусот (голем број врски) и, како резултат, од малиот дијаметар на мрежата (значително помал од оној на мрежите со 3Д торологија со торуси со ист број јазли). Достапни извори известуваат за создавање на два суперкомпјутери на Blue Gene / Q transetaflops: Sequoia со перформанси од 20 PFLOPS и Mira - 10 PFLOPS. Можеме да заклучиме дека Blue Gene / Q е фокусиран на задачи што ќе користат десетици и стотици илјади компјутерски јазли со мрежен сообраќај од типот „сите на сите“.

Друг приврзаник на пристапот кон градење мрежни комуникациски мрежи со тороидна топологија е Креј, кој продолжува да ја користи топологијата на 3D тор, притоа зголемувајќи ја автопатот и бројот на врски што ги поврзуваат соседните јазли. Тековната генерација на тороидна мрежа Cray е мрежата Cray Gemini. Еден рутер од Близнаци одговара на два рутер од претходната генерација SeaStar2 +, што е, всушност, на два мрежни јазли, затоа во Близнаци наместо 6 врски 10 се користат за поврзување со соседните јазли (2 служат за поврзување на два адаптер едни на други).

Компонентите (мрежни адаптери, прекинувачи, рутери) на мрежа за суперкомпјутер, за разлика од процесорите, честопати се поскапи, а пристапот до нив е поограничен. На пример, сега прекинувачите за мрежата InfiniBand, која е главна комерцијална мрежа за суперкомпјутери, ги произведуваат само две компании, и двете се контролирани од САД. Ова значи дека во отсуство на сопствени случувања во областа на брзите мрежи, лесно може да се контролира создавањето на современи суперкомпјутери во која било земја освен САД, Кина или Јапонија.

Домашни мрежи

Развојот на комуникациските мрежи за употреба кај суперкомпјутерите го вршат голем број домашни организации: RFNC VNIIEF (има многу малку информации за овие случувања во отворените извори), Институтот за софтверски системи на Руската академија на науките и РСК СКИФ, ИПМ РАС и Институтот за истражувања Каван (МВС-експрес мрежа ").

3Д тор комуникациската мрежа за руско-италијанскиот суперкомпјутер СКИФ-Аурора е целосно изградена со помош на Altera Stratix IV FPGA, што ја објаснува прилично малата ширина на опсег по линк - 1,25 GB / s (ресурсите на FPGA се многу ограничени).

Во мрежата MVS-Express, PCI Express 2.0 се користи за интегрирање на компјутерските јазли, а јазлите се поврзани преку прекинувачи од 24 порти. Мрежата има топологија близу до масно дрво. Мрежниот адаптер во компјутерскиот јазол има една порта со ширина од 4 ленти, како резултат на што еднонасочниот врвен автопат на врската е 20 Gbit / s, без да се земе предвид над глава за кодирање. Предноста на користењето на PCI Express во MVS-Express е ефикасна поддршка на заедничка меморија со можност за еднострана комуникација. Како резултат, мрежата е погодна за спроведување на библиотеката Shmem и јазиците PGAS (UPC, CAF).

Со поддршка на Министерството за индустрија и трговија на Руската Федерација, НИЦЕВТ OJSC работи на развој на комуникациската мрежа Ангара со топологија од 4D-tor, што може да стане основа за создавање домашни технологии за развој на суперкомпјутери.

Мрежа „Ангара“

Главните цели на развојот на мрежата Ангара:

  • ефективна поддршка за еднонасочна комуникација (ставање / добивање) и PGAS јазици (како главно средство за паралелно програмирање),
  • Ефективна поддршка за MPI
  • ослободување на сопствен кристал (за да се постигнат високи стапки на трансфер на податоци и мало доцнење),
  • адаптибилен пренос безбеден пакет,
  • ефикасна работа со современи процесори и чипсети.

Во првата фаза на развој на оваа мрежа (2006 г.) беше извршена симулација на разни мрежни опции и донесени се главни решенија за топологијата, архитектурата на рутерот, алгоритмите за рутирање и арбитражата. Покрај тороидната топологија, беа разгледани мрежите на Кејли и „густото дрво“. Четиридимензионалниот торус беше избран заради поедноставно рутирање, добра приспособливост и висока поврзаност во споредба со помалите тори. Моделирањето во мрежата овозможи детално да се испита ефектот на различните параметри на мрежната архитектура врз главните карактеристики на изведбата, да се разберат моделите за сообраќај на задачи со интензивен нередовен пристап до меморијата. Како резултат, беа избрани оптимални големини на тампон, бројот на виртуелни канали и беа анализирани потенцијалните тесни грла.

Во 2008 година се појави првиот прототип на рутерот FPGA - мрежен распоред од шест јазли на Virtex4 поврзан со тор 2x3, на којшто се дебагираше основната функционалност на рутерот, беше разработена дефектно толерантен пренос на податоци, се напишани и дебагирани возачот и библиотеката со ниско ниво, се пренесуваа и дебагираа библиотеките на Шмем и МПИ Сега започна распоредот на третата генерација, кој се состои од девет јазли поврзани во дводимензионален торс 3x3. Собран стенд с двумя узлами для тестирования новых разъемов и каналов передачи данных, предполагаемых к использованию с будущими кристаллами маршрутизатора ВКС. При разработке принципов работы сети ряд деталей был позаимствован из работ и , а также в том или ином виде из архитектур IBM Blue Gene и Cray SeaStar.

Сеть «Ангара» имеет топологию 4D-тор. Поддерживается детерминированная маршрутизация, сохраняющая порядок передачи пакетов и предотвращающая появление дедлоков (взаимных блокировок), а также адаптивная маршрутизация, позволяющая одновременно использовать множество путей между узлами и обходить перегруженные и вышедшие из строя участки сети. Особено внимание беше посветено на поддршката на колективните операции (радиодифузија и намалување) спроведени со користење на виртуелна подмрежа со топологија на дрво надреденост на мултидимензионален тор Мрежата на ниво на хардвер поддржува два вида на далечинско пишување, читање и атомско работење (додавање и ексклузивно ИЛИ). Шемата за извршување на далечинско читање (испраќање на барање и добивање одговор) е прикажано на сл. 2 (далечинско снимање и атомски операции се изведуваат на сличен начин). Во посебен блок, логиката се спроведува за да се збираат пораките добиени од мрежата со цел да се зголеми уделот на корисни податоци по трансакција кога се пренесува преку интерфејс со домаќинот (домаќинот е процесор-меморија-мост на мост).

Сл. 2. Шема на далечинско читање во мрежата на Ангара

Во слојот на врската со податоци, поддржан е пакетот за безбеден пакет. Исто така, постои механизам за заобиколување на неуспешните канали за комуникација и јазли со обнова на рутирање на табели. За извршување на разни услужни операции (особено, конфигурирање / обнова на рутирање на табели) и изведување на некои пресметки, се користи процесор за услуги. Интерфејсот на домаќинот користи PCI Express.

Сл. 3. Структурата на компјутерскиот јазол со мрежен адаптер / рутер „Ангара“

Главните блокови на рутерот:

  • интерфејс со системот на домаќинот, одговорен за примање и испраќање пакети на интерфејсот на домаќинот,
  • единица за вбризгување и исфрлање што формира пакети што треба да се испраќаат до мрежата и ги парсира заглавјата на пакетите што доаѓаат од мрежата,
  • единица за обработка на барање што обработува пакети за кои е потребна информација од меморијата на системот-домаќин (на пример, читања или атомски операции),
  • мрежна единица за колективно работење која обработува пакети поврзани со колективни операции, особено, изведувајќи операции за намалување, генерирање пакети со барање за емитување,
  • сервисна оперативна единица што обработува пакети што одат кон и од сервисниот копроцесор,
  • прекинувач што ги поврзува влезовите од разни виртуелни канали и влезови од инјекторите со излези во различни насоки и ејектори,
  • комуникациски канали за пренесување и примање на податоци во одредена насока,
  • единица за пренос на податоци за испраќање пакети во дадена насока и единица за примање и рутирање за примање пакети и одлучување за нивната идна судбина.

Интеракцијата на домаќинот (кодот извршен на централниот процесор) со рутерот се изведува со пишување на мемориските адреси мапирани на адресите на регионите на ресурси на рутерот (влез / излез одбележан со меморија). Ова овозможува апликацијата да комуницира со рутерот без учество на јадрото, што го намалува надземниот дел од испраќањето на пакетите, бидејќи префрлањето во контекстот на кернелот и назад се потребни повеќе од сто циклуси на часовникот. За да испраќате пакети, се користи еден од мемориските региони, кој се смета за тампон-тампон. Исто така, постои посебен регион за извршување операции без копирање на меморија-меморија (податоците се читаат од меморија и се напишани од адаптерот на комуникациската мрежа преку операции DMA) и регион со контролни регистри. Пристапот до одредени ресурси на рутерот е контролиран од нуклеарниот модул.

За да се постигне поголема ефикасност, беше решено дека треба да се изврши само една компјутерска задача на еден јазол, ова го елиминираше надземниот простор поврзан со употреба на виртуелна меморија, се избегнува мешање на задачите, ја поедностави архитектурата на рутерот заради недостаток на целосен MMU и ги избегна сите неговата одложувања во работата, како и го поедноставува мрежниот безбедносен модел, отстранувајќи од него безбедноста на процесите на различни задачи на еден јазол. Ова решение не влијаеше врз функционалноста на мрежата, наменета првенствено за големи задачи (наспроти InfiniBand, универзална мрежа за задачи од различни големини). Слична одлука е донесена во IBM Blue Gene, каде се воведува ограничување на уникатноста на задачата за делот.

На ниво на хардвер, се поддржува истовремена работа со рутерот на многу нишки / процеси на една задача - таа се спроведува во форма на неколку канали за вбризгување достапни за употреба од процеси преку неколку прстенести тампони за снимање на пакети. Бројот и големината на овие амортизери можат да се променат динамично.

Главниот режим на програмирање за мрежата Ангара е заедничко користење на MPI, OpenMP и Shmem, како и на GASNet и UPC.

По завршувањето на верификацијата и прототипирањето на мрежата, се планира да се издаде чип VLSI. Прототип серија VLSI ќе биде дизајнирана за дебагирање на основните технолошки решенија, технолошки процес и експериментална верификација на резултатите од симулацијата. Прототипот ќе ги содржи сите основни функционалности, работа со интерфејсот PCI Express gen2 x16 и врски со моќност од 75 Gb / s.

Планирано е да се промовира мрежата на Ангара на пазарот во две верзии: како посебна комерцијална мрежа во форма на PCI Express картички за кластерски системи со стандардни процесори и чипсети, и како дел од системот со четири приклучници, базиран на AMD процесори, кои се развиваат на NICEVT.

Погледнете го видеото: Театарски бонтон, лекција #3: Користење социјални мрежи за време на претстава - Симона Спировска (Декември 2019).