Sas konektor. Serijska kompatibilnost bez presedana

Uvod

Pogledajte moderne matične ploče (ili čak neke starije platforme). Da li im je potreban poseban RAID kontroler? Većina matičnih ploča ima 3 gigabitna SATA porta, kao i audio priključke i mrežne adaptere. Većina modernih čipseta kao npr AMD A75 i Intel Z68, imaju podršku za SATA na 6 Gb/s. Uz toliko podrške od čipseta, moćnog procesora i I/O portova, da li su vam potrebne dodatne memorijske kartice i poseban kontroler?

U većini slučajeva obični korisnici mogu kreirati RAID 0, 1, 5, pa čak i 10 nizove koristeći ugrađene SATA portove na matičnoj ploči i poseban softver, a mogu se postići vrlo visoke performanse. Ali u slučajevima kada je potreban složeniji RAID nivo od 30, 50 ili 60 - viši nivo upravljanja diskom ili skalabilnost, tada kontroleri na čipsetu možda neće moći da se nose sa situacijom. U takvim slučajevima potrebna su profesionalna rješenja.

U takvim slučajevima više niste ograničeni na SATA sisteme za skladištenje. Veliki broj specijalnih kartica pruža podršku za SAS (Serial-Attached SCSI) ili Fibre Channel (FC) diskove, svaki od ovih interfejsa donosi jedinstvene prednosti.

SAS i FC za profesionalna RAID rješenja

Svaki od tri interfejsa (SATA, SAS i FC) ima svoje prednosti i nedostatke, nijedan od njih se ne može bezuslovno nazvati najboljim. Prednosti diskova baziranih na SATA-u su veliki kapacitet i niska cijena, u kombinaciji s visokim brzinama prijenosa podataka. SAS diskovi su poznati po svojoj pouzdanosti, skalabilnosti i velikim I/O brzinama. FC sistemi za skladištenje obezbeđuju konstantnu i veoma visoku brzinu prenosa podataka. Neke kompanije i dalje koriste Ultra SCSI rješenja, iako mogu rukovati do 16 uređaja (jedan kontroler i 15 diskova). Štaviše, propusnost u ovom slučaju ne prelazi 320 MB/s (u slučaju Ultra-320 SCSI), što ne može konkurirati modernijim rješenjima.

Ultra SCSI je standard za profesionalna rješenja za pohranu podataka. Međutim, SAS dobija na popularnosti jer nudi ne samo znatno veću propusnost, već i veću fleksibilnost u radu sa mješovitim SAS/SATA sistemima, omogućavajući vam da optimizirate troškove, performanse, dostupnost i kapacitet čak i u jednom JBOD-u (skupu diskova) . Osim toga, mnogi SAS diskovi imaju dva porta za redundantnost. Ako jedna upravljačka kartica pokvari, tada se prebacivanjem pogona na drugi kontroler izbjegava kvar cijelog sistema. Tako SAS osigurava visoku pouzdanost cijelog sistema.

Štaviše, SAS nije samo point-to-point protokol za povezivanje kontrolera i uređaja za skladištenje podataka. Podržava do 255 uređaja za pohranu po SAS portu kada se koristi ekspander. Koristeći dvoslojnu strukturu SAS ekspandera, teoretski je moguće priključiti 255 x 255 (ili nešto više od 65.000) uređaja za skladištenje na jedan SAS kanal, ako je kontroler sposoban da podrži toliki broj uređaja.

Adaptec, Areca, HighPoint i LSI: Četiri testa SAS RAID kontrolera

U ovom benchmark-u ispitujemo performanse modernih SAS RAID kontrolera, koji su predstavljeni sa četiri proizvoda: Adaptec RAID 6805, Areca ARC-1880i, HighPoint RocketRAID 2720SGL i LSI MegaRAID 9265-8i.

Zašto SAS a ne FC? S jedne strane, SAS je daleko najzanimljivija i najrelevantnija arhitektura. Pruža karakteristike kao što je zoniranje koje su vrlo privlačne profesionalnim korisnicima. S druge strane, uloga FC-a na profesionalnom tržištu opada, a neki analitičari čak predviđaju njegovu potpunu propast na osnovu broja isporučenih tvrdih diskova. Prema IDC stručnjacima, budućnost FC-a izgleda prilično mračno, ali SAS čvrsti diskovi mogu zauzimati 72% tržišta hard diskova za preduzeća u 2014.

Adaptec RAID 6805

Proizvođač čipova PMC-Sierra lansirao je "Adaptec by PMC" seriju RAID 6 kontrolera krajem 2010. Kartice kontrolera serije 6 su bazirane na dvojezgrenom ROC (RAID on Chip) SRC 8x6 GB kontroleru, koji podržava 512 MB keš memorije i do 6 Gbps po SAS portu. Postoje tri modela niskog profila: Adaptec RAID 6405 (4 interna porta), Adaptec RAID 6445 (4 interna i 4 eksterna porta) i onaj koji smo testirali, Adaptec RAID 6805 sa osam internih portova, koji košta oko 460 dolara.

Svi modeli podržavaju JBOD i sve nivoe RAID-a - 0, 1, 1E, 5, 5EE, 6, 10, 50 i 60.

Povezan sa sistemom preko x8 PCI Express 2.0 interfejsa, Adaptec RAID 6805 podržava do 256 uređaja preko SAS ekspandera. Prema specifikacijama proizvođača, stabilna brzina prijenosa podataka u sistem može doseći 2 GB/s, a vršna vrijednost može doseći 4,8 GB/s na agregiranom SAS portu i 4 GB/s na PCI Express sučelju - zadnja cifra je maksimalna teoretski moguća vrijednost za PCI Express 2.0x sabirnicu.

ZMCP bez potrebe za podrškom

Naša testna jedinica dolazi sa Adaptec Falsh Module 600 koji koristi Zero Maintenance Cache Protection (ZMCP) i ne koristi naslijeđenu baterijsku rezervnu jedinicu (BBU). ZMCP modul je 4 GB NAND flash čip jedinica koja se koristi za sigurnosnu kopiju keša kontrolera u slučaju nestanka struje.

Budući da je kopiranje iz keš memorije u flash vrlo brzo, Adaptec koristi kondenzatore za podršku napajanja umjesto baterija. Prednost kondenzatora je što mogu trajati koliko i same kartice, dok je rezervne baterije potrebno mijenjati svakih nekoliko godina. Osim toga, kada se jednom kopiraju u fleš memoriju, podaci se tamo mogu pohraniti nekoliko godina. Za usporedbu, obično imate oko tri dana za pohranu podataka prije nego što se keširane informacije izgube, što vas prisiljava da požurite s oporavkom podataka. Kao što ime govori, ZMCP je rješenje koje može izdržati nestanke struje.


Performanse

Adaptec RAID 6805 u RAID-u 0 gubi u našim testovima čitanja/pisanja striminga. Takođe, RAID 0 nije tipičan slučaj za posao kojem je potrebna zaštita podataka (iako bi se mogao koristiti za radnu stanicu za prikazivanje video zapisa). Sekvencijalno čitanje je brzinom od 640 MB/s, a sekvencijalno upisivanje je 680 MB/s. Što se tiče ove dve tačke, LSI MegaRAID 9265-8i zauzima prvo mesto u našim testovima. Adaptec RAID 6805 radi bolje u RAID 5, 6 i 10 testovima, ali nije apsolutni lider. U konfiguraciji samo za SSD, Adaptec kontroler radi brzinom do 530 MB/s, ali je bolji od Areca i LSI kontrolera.

Adaptec kartica automatski prepoznaje ono što naziva HybridRaid konfiguracijom, koja se sastoji od mješavine HDD-a i SSD-ova, nudeći RAID nivoe od 1 do 10 u ovoj konfiguraciji. Ova kartica nadmašuje svoje konkurente zahvaljujući posebnim algoritmima čitanja/pisanja. Oni automatski usmjeravaju čitanje na SSD i upisivanje na hard diskove i SSD. Dakle, operacije čitanja će raditi kao u sistemu samo za SSD, a operacije pisanja neće raditi ništa lošije nego u sistemu sa tvrdih diskova.

Međutim, rezultati naših testova ne odražavaju teorijsku situaciju. Sa izuzetkom mjerila za web server, gdje brzina prijenosa podataka za hibridni sistem funkcionira, hibridni sistem SSD-a i tvrdih diskova ne može se približiti brzini sistema sa samo SSD-om.

Adaptec kontroler radi mnogo bolje u testu performansi HDD I/O. Bez obzira na vrstu benčmarka (baza podataka, server datoteka, web server ili radna stanica), RAID 6805 kontroler drži korak sa Areca ARC-1880i i LSI MegaRAID 9265-8i, i zauzima prvo ili drugo mjesto. Samo HighPoint RocketRAID 2720SGL vodi I/O test. Ako čvrste diskove zamijenite SSD-om, tada je LSI MegaRAID 9265-8i znatno ispred ostala tri kontrolera.

Instalacija softvera i podešavanje RAID-a

Adaptec i LSI imaju dobro organizirane i jednostavne alate za upravljanje RAID-om. Alati za upravljanje omogućavaju administratorima daljinski pristup kontrolerima preko mreže.

Instaliranje niza

Areca ARC-188oi

Areca takođe donosi ARC-1880 seriju na tržište 6Gb/s SAS RAID kontrolera. Ciljane aplikacije se kreću od NAS aplikacija i servera za skladištenje do HPC-a, redundantnosti, sigurnosti i računarstva u oblaku, prema proizvođaču.

Testirani ARC-1880i uzorci sa osam eksternih SAS portova i osam PCI Express 2.0 traka mogu se kupiti za 580 USD. Niskoprofilna kartica, koja je jedina kartica u našem paketu sa aktivnim hladnjakom, izgrađena je oko 800MHz ROC sa podrškom za 512MB DDR2-800 podatkovne keš memorije. Koristeći SAS ekspandere, Areca ARC-1880i podržava do 128 sistema za skladištenje podataka. Da bi se sačuvao sadržaj keš memorije tokom nestanka struje, sistem se opciono može dodati baterijom.

Uz single mode i JBOD, kontroler podržava RAID nivoe 0, 1, 1E, 3, 5, 6, 10, 30, 50 i 60.

Performanse

Areca ARC-1880i radi dobro u RAID 0 testovima čitanja/pisanja, dostižući 960 MB/s čitanja i 900 MB/s pisanja. Samo je LSI MegaRAID 9265-8i brži u ovom konkretnom testu. Areca kontroler ne razočara ni u drugim benchmarkovima. I u radu s tvrdim diskovima i SSD-ovima, ovaj kontroler se uvijek aktivno takmiči s pobjednicima testova. Iako je Areca kontroler bio vodeći u samo jednom benchmark-u (sekvencionalno čitanje u RAID-u 10), pokazao je vrlo visoke rezultate, na primjer, brzinu čitanja od 793 MB/s, dok je najbrži konkurent, LSI MegaRAID 9265-8i, pokazao samo 572 MB/s

Međutim, serijska komunikacija je samo jedan dio slike. Drugi je I/O performanse. Areca ARC-1880i se i ovde ističe, takmičeći se pod jednakim uslovima sa Adaptec RAID 6805 i LSI MegaRAID 9265-8i. Slično svojoj pobjedi u mjerilu brzine prijenosa podataka, Areca kontroler je također pobijedio u jednom od I/O testova - benčmarku web servera. Areca kontroler dominira testom web servera na RAID 0, 5 i 6, dok Adaptec 6805 preuzima vodstvo u RAID 10, ostavljajući Areca kontroler na drugom mjestu, tijesno iza.

Web GUI i opcije podešavanja

Kao i HighPoint RocketRAID 2720SGL, Areca ARC-1880i je praktično zasnovan na webu i jednostavan za postavljanje.

Instaliranje niza

HighPoint RocketRAID 2720SGL

HighPoint RocketRAID 2720SGL je SAS RAID kontroler sa osam internih SATA/SAS portova, od kojih svaki podržava 6Gb/s. Prema proizvođaču, ova kartica niskog profila namijenjena je sistemima za skladištenje podataka za mala i srednja preduzeća, te radne stanice. Ključna komponenta kartice je RAID kontroler Marvell 9485. Glavne konkurentske prednosti su njena mala veličina i 8-lane PCIe 2.0 interfejs.

Uz JBOD, kartica podržava RAID 0, 1, 5, 6, 10 i 50.

Pored modela koji je testiran na našim testovima, postoje još 4 modela u niskoprofilnoj HighPoint 2700 seriji: RocketRAID 2710, RocketRAID 2711, RocketRAID 2721 i RocketRAID 2722, koji se uglavnom razlikuju po tipovima portova (interni / eksterni ) i njihov broj (od 4 do 8). Naši testovi su koristili najjeftiniji od ovih RAID kontrolera, RocketRAID 2720SGL (170 USD). Svi kablovi do kontrolera kupuju se posebno.

Performanse

Kada se sekvencijalno čita/upisuje u RAID 0 niz od osam Fujitsu MBA3147RC drajvova, HighPoint RocketRAID 2720SGL postiže odličnu brzinu čitanja od 971 MB/s, drugi samo za LSI MegaRAID 9265-8i. Brzina pisanja od 697 MB/s nije tako velika, ali je ipak veća od brzine pisanja kod Adaptec RAID 6805. RocketRAID 2720SGL također pokazuje širok raspon rezultata. Sa RAID 5 i 6 nadmašuje druge kartice, ali sa RAID 10 brzina čitanja pada na 485 MB/s, što je najniži od četiri testirana uzorka. Brzina sekvencijalnog pisanja u RAID 10 je još lošija - samo 198 MB/s.

Ovaj kontroler očito nije napravljen za SSD. Brzina čitanja ovdje doseže 332 MB/s, a brzina pisanja je 273 MB/s. Čak i Adaptec RAID 6805, koji takođe ne radi dobro sa SSD diskovima, radi duplo bolje. Stoga, HighPoint nije konkurent za dvije kartice koje zaista dobro rade sa SSD-ovima: Areca ARC-1880i i LSI MegaRAID 9265-8i - one rade najmanje tri puta brže.

Sve što smo mogli reći dobro o radu HighPoint-a u I/O modu, rekli smo. Međutim, RocketRAID 2720SGL zauzima posljednje mjesto u našim testovima u sva četiri Iometer mjerila. HighPoint kontroler je prilično konkurentan drugim karticama kada radi sa benchmarkom web servera, ali značajno gubi od konkurenata u ostala tri benčmarka. Ovo postaje očigledno u SSD testovima, gde RocketRAID 2720SGL jasno pokazuje da nije optimizovan za SSD. Jasno je da ne koristi u potpunosti prednosti SSD-a u odnosu na HDD-ove. Na primjer, RocketRAID 2720SGL postiže 17378 IOP-a u benčmarku baze podataka, dok ga LSI MegaRAID 9265-8i nadmašuje četiri puta sa 75,037 IOP-a.

Web GUI i postavke niza

RocketRAID 2720SGL web sučelje je zgodan i jednostavan za korištenje. Svi RAID parametri se lako podešavaju.

Instaliranje niza

LSI MegaRAID 9265-8i

LSI pozicionira MegaRAID 9265-8i kao uređaj za SMB tržište. Ova kartica je pogodna za pouzdanost u oblaku i druge poslovne aplikacije. MegaRAID 9265-8i je jedan od skupljih kontrolera na našem testu (košta 630 dolara), ali kao što test pokazuje, ovaj novac se plaća za svoje prave prednosti. Prije nego što predstavimo rezultate testiranja, razgovarajmo o tehničkim karakteristikama ovih kontrolera i softverskih aplikacija FastPath i CacheCade.

LSI MegaRAID 9265-8i koristi dvojezgreni LSI SAS2208 ROC koristeći osmostruki PCIe 2.0 interfejs. 8 na kraju naziva uređaja označava da postoji osam internih SATA/SAS portova, od kojih svaki podržava 6 Gb/s. Preko SAS ekspandera na kontroler se može povezati do 128 uređaja za skladištenje podataka. LSI kartica sadrži 1 GB DDR3-1333 keš memorije i podržava RAID nivoe 0, 1, 5, 6, 10 i 60.

Konfigurisanje softvera i RAID-a, FastPath-a i CacheCade-a

LSI tvrdi da FastPath može značajno ubrzati I/O sisteme kada je povezan SSD. Prema LSI stručnjacima, FastPath radi sa bilo kojim SSD-om, značajno povećavajući performanse pisanja/čitanja RAID niza zasnovanog na SSD-u: 2,5x upisivanje i 2x čitanje, dostižući 465.000 IOPS. Nismo uspjeli provjeriti ovu cifru. Međutim, ova kartica je uspjela izvući maksimum iz pet SSD-ova bez korištenja FastPath-a.

Sljedeća aplikacija za MegaRAID 9265-8i zove se CacheCade. Uz to, možete koristiti jedan SSD kao keš memoriju za niz tvrdih diskova. Prema mišljenju stručnjaka LSI-ja, ovo može ubrzati proces čitanja i do 50 puta, ovisno o veličini podataka, aplikacijama i načinu korištenja. Ovu aplikaciju smo testirali na RAID 5 nizu koji se sastoji od 7 tvrdih diskova i jednog SSD-a (SSD je korišten za keš memoriju). U poređenju sa RAID 5 sistemom od 8 čvrstih diskova, postalo je jasno da CacheCade ne samo da poboljšava I/O brzinu, već i ukupne performanse (više, što je manja količina podataka koji se stalno koriste). Za testiranje smo koristili 25 GB podataka i dobili 3877 IOPS na Iometer-u u šablonu web servera, dok je običan niz hard diskova dozvoljavao samo 894 IOPS.

Performanse

Na kraju se ispostavilo da je LSI MegaRAID 9265-8i najbrži I/O od svih SAS RAID kontrolera u ovoj recenziji. Međutim, tokom sekvencijalnih operacija čitanja/pisanja, kontroler pokazuje prosječne performanse, budući da njegove sekvencijalne performanse u velikoj mjeri zavise od nivoa RAID-a koji koristite. Prilikom testiranja hard diska na nivou RAID 0, dobijamo sekvencijalnu brzinu čitanja od 1080 MB/s (što je znatno više od konkurencije). Brzine sekvencijalnog pisanja na RAID 0 dostižu 927 MB/s, što je takođe brže od konkurencije. Ali za RAID 5 i 6, LSI kontroleri su inferiorniji od svih svojih konkurenata, nadmašujući ih samo u RAID 10. U SSD RAID testu, LSI MegaRAID 9265-8i pokazuje najbolje performanse sekvencijalnog pisanja (752 MB / s) i samo Areca ARC -1880i ga nadmašuje po parametrima sekvencijalnog čitanja.

Ako tražite RAID kontroler fokusiran na SSD sa visokim I/O performansama, LSI kontroler je vodeći ovdje. Uz nekoliko izuzetaka, zauzima prvo mjesto u našim I/O testovima servera datoteka, web servera i radne stanice. Kada se vaš RAID niz sastoji od SSD-ova, LSI-jevi konkurenti mu ne mogu parirati. Na primjer, u benčmarku za radne stanice MegaRAID 9265-8i dostiže 70.172 IOPS, dok Areca ARC-1880i, koja je na drugom mjestu, zaostaje skoro dva puta - 36.975 IOPS.

Instalacija RAID softvera i niza

Kao i kod Adapteca, LSI ima praktične alate za upravljanje RAID nizom preko kontrolera. Evo nekoliko snimaka ekrana:

Softver za CacheCade

RAID softver

Instaliranje niza

Uporedna tablica i konfiguracija ispitnog stola

Proizvođač Adaptec Areca
Proizvod RAID 6805 ARC-1880i
Form factor Niski profil MD2 Niski profil MD2
Broj SAS portova 8 8
6 Gbps (SAS 2.0) 6 Gbps (SAS 2.0)
Interni SAS portovi 2xSFF-8087 2xSFF-8087
Eksterni SAS portovi Ne Ne
Skladiste 512MB DDR2-667 512MB DDR2-800
Glavni interfejs PCIe 2.0 (x8) PCIe 2.0 (x8)
XOR i brzina takta PMC-Sierra PM8013/Nema podataka N/A/800 MHz
Podržani RAID nivoi 0, 1, 1E, 5, 5EE, 6, 10, 50, 60 0, 1, 1E, 3, 5, 6, 10, 30, 50, 60
Windows 7, Windows Server 2008/2008 R2, Windows Server 2003/2003 R2, Windows Vista, VMware ESX Classic 4.x (vSphere), Red Hat Enterprise Linux (RHEL), SUSE Linux Enterprise Server (SLES), Sun Solaris 10 x86 , FreeBSD, Debian Linux, Ubuntu Linux Windows 7/2008/Vista/XP/2003, Linux, FreeBSD, Solaris 10/11 x86/x86_64, Mac OS X 10.4.x/10.5.x/10.6.x, VMware 4.x
Baterija Ne Opciono
Fan Ne Tu je

Proizvođač high point LSI
Proizvod RocketRAID 2720SGL MegaRAID 9265-8i
Form factor Niski profil MD2 Niski profil MD2
Broj SAS portova 8 8
SAS propusni opseg po portu 6 Gbps (SAS 2.0) 6 Gbps (SAS 2.0)
Interni SAS portovi 2xSFF-8087 2xSFF-8087
Eksterni SAS portovi Ne Ne
Skladiste Nema podataka 1 GB DDR3-1333
Glavni interfejs PCIe 2.0 (x8) PCIe 2.0 (x8)
XOR i brzina takta Marvel 9485/Nema podataka LSI SAS2208/800 MHz
Podržani RAID nivoi 0, 1, 5, 6, 10, 50 0, 1, 5, 6, 10, 60
Podržani operativni sistemi Windows 2000, XP, 2003, 2008, Vista, 7, RHEL/CentOS, SLES, OpenSuSE, Fedora Core, Debian, Ubuntu, FreeBSD do 7.2 Microsoft Windows Vista/2008/Server 2003/2000/XP, Linux, Solaris (x86), Netware, FreeBSD, Vmware
Baterija Ne Opciono
Fan Ne Ne

Testna konfiguracija

Povezali smo osam Fujitsu MBA3147RC SAS čvrstih diskova (svaki od 147 GB) sa RAID kontrolerima i izvršili testove za RAID nivoe 0, 5, 6 i 10. SSD testovi su obavljeni sa pet Samsung SS1605 drajva.

Hardver
CPU Intel Core i7-920 (Bloomfield) 45 nm, 2,66 GHz, 8 MB dijeljene L3 keš memorije
Matična ploča (LGA 1366) Supermicro X8SAX, Revizija: 1.0, Čipset Intel X58 + ICH10R, BIOS: 1.0B
Kontroler LSI MegaRAID 9280-24i4e
Firmver: v12.12.0-0037
Driver: v4.32.0.64
RAM 3 x 1 GB DDR3-1333 Corsair CM3X1024-1333C9DHX
HDD Seagate NL35 400 GB, ST3400832NS, 7200 o/min, SATA 1,5 Gb/s, 8 MB keš memorije
Napajanje OCZ EliteXstream 800W, OCZ800EXS-EU
Benchmarks
Performanse Crystal Disk Mark 3
I/O performanse Iometer 2006.07.27
Benchmark fajl servera
Benchmark web servera
Database Benchmark
Workstation Benchmark
Streaming Reads
Streaming Writes
4k nasumično čitanje
4k nasumično upisivanje
Softver i drajveri
Operativni sistem Windows 7 Ultimate

Rezultati testa

I/O performanse u RAID 0 i 5

RAID 0 benchmarks ne pokazuju značajnu razliku između RAID kontrolera, sa izuzetkom HighPoint RocketRAID 2720SGL.




Benchmark u RAID 5 ne pomaže HighPoint kontroleru da povrati izgubljeno tlo. Za razliku od standarda u RAID 0, sva tri brža kontrolera ovdje jasnije pokazuju svoje prednosti i slabosti.




I/O performanse u RAID 6 i 10

LSI je optimizovao svoj MegaRAID 9265 kontroler za radna opterećenja baze podataka, servera datoteka i radnih stanica. Benchmark za Web server dobro prolazi sve kontrolere, pokazujući iste performanse.




U RAID 10 varijanti, Adaptec i LSI se bore za prvo mjesto, a HighPoint RocketRAID 2720SGL na posljednjem mjestu.




SSD I/O performanse

LSI MegaRAID 9265 vodi ovdje, koristeći punu prednost SSD sistema za pohranu podataka.




Propusni opseg u RAID-u 0, 5 i degradiranom RAID-u 5

LSI MegaRAID 9265 lako predvodi ovo mjerilo. Adaptec RAID 6805 je daleko iza.


HighPoint RocketRAID 2720SGL bez keš memorije radi dobar posao sekvencijalnih operacija u RAID 5. Ni drugi kontroleri nisu mnogo inferiorniji od njega.


Degradirani RAID 5


Propusni opseg u RAID-u 6, 10 i degradiranom RAID-u 6

Kao i kod RAID-a 5, HighPoint RocketRAID 2720SGL pokazuje najveću propusnost za RAID 6, ostavljajući Areca ARC-1880i na drugom mjestu. Stiče se utisak da LSI MegaRAID 9265-8i jednostavno ne voli RAID 6.


Degradirani RAID 6


Ovdje se LSI MeagaRAID 9265-8i pokazuje u najboljem svjetlu, iako dopušta Areca ARC-1880i da ide naprijed.

LSI CacheCade




Koji je najbolji 6Gb/s SAS kontroler?

Generalno, sva četiri SAS RAID kontrolera koja smo testirali radila su dobro. Svi imaju sve potrebne funkcionalnosti i svi se mogu uspješno koristiti na serverima početnog i srednjeg nivoa. Osim izvanrednih performansi, oni također pružaju važne karakteristike kao što su miješana SAS i SATA okruženja i skalabilnost putem SAS ekspandera. Sva četiri kontrolera podržavaju SAS 2.0 standard, koji povećava propusnost sa 3 Gbps na 6 Gbps po portu, a takođe uvodi nove karakteristike kao što je SAS zoniranje, što omogućava mnogim kontrolerima da pristupe resursima za skladištenje preko jednog SAS - ekspandera.

Unatoč takvim sličnostima kao što su niskoprofilni oblik, osmostruko PCI Express sučelje i osam SAS 2.0 portova, svaki kontroler ima svoje prednosti i slabosti, analizirajući koje možete dati preporuke za njihovu optimalnu upotrebu.

Dakle, najbrži kontroler je LSI MegaRAID 9265-8i, posebno u smislu I/O propusnog opsega. Iako ima neke slabosti, posebno ne baš visoke performanse u slučajevima RAID 5 i 6. MegaRAID 9265-8i vodi u većini benchmark-a i odlično je rješenje na profesionalnom nivou. Cijena ovog kontrolera - 630 dolara - je najveća, ne treba zaboraviti ni ovo. Ali za ovu visoku cijenu, dobijate odličan kontroler koji nadmašuje svoje konkurente, posebno kada radite sa SSD-om. Takođe ima odlične performanse, što postaje posebno vredno pri povezivanju velikih sistema za skladištenje podataka. Štaviše, možete povećati performanse LSI MegaRAID 9265-8i koristeći FastPath ili CacheCade, što će vas naravno dodatno koštati.

Adaptec RAID 6805 i Areca ARC-1880i kontroleri pokazuju iste performanse i vrlo su slične po cijeni (460 USD i 540 USD). Oba rade dobro, što pokazuju različiti benchmarkovi. Adaptec kontroler pruža nešto bolje performanse od Areca kontrolera, a nudi i mnogo traženu ZMCP (Zero Maintenance Cache Protection) funkciju koja zamjenjuje uobičajenu redundantnost nestanka struje i omogućava nastavak operacija.

HighPoint RocketRAID 2720SGL se prodaje za samo 170 dolara, što je mnogo jeftinije od ostala tri kontrolera koja smo testirali. Performanse ovog kontrolera su sasvim dovoljne ako radite sa konvencionalnim drajvovima, iako su lošije od Adaptec ili Areca kontrolera. I ne biste trebali koristiti ovaj kontroler za rad sa SSD-om.

Sa pojavom dovoljno velikog broja Serial Attached SCSI (SAS) perifernih uređaja, možemo konstatovati početak tranzicije korporativnog okruženja na šine nove tehnologije. Ali SAS nije samo priznati nasljednik UltraSCSI tehnologije, već otvara i nova područja upotrebe, podižući skalabilnost sistema do nezamislivih visina. Odlučili smo da pokažemo potencijal SAS-a tako što smo detaljnije pogledali tehnologiju, host adaptere, čvrste diskove i sisteme za skladištenje podataka.

SAS nije potpuno nova tehnologija: uzima najbolje iz oba svijeta. Prvi dio SAS-a bavi se serijskim prijenosom podataka, koji zahtijeva manje fizičkih žica i pinova. Prijelaz s paralelnog na serijski prijenos omogućio je da se riješi sabirnice. Iako trenutne SAS specifikacije definiraju propusnost od 300 MB/s po portu, što je manje od 320 MB/s za UltraSCSI, zamjena dijeljene magistrale vezom od tačke do tačke je značajna prednost. Drugi dio SAS-a je SCSI protokol, koji je i dalje moćan i popularan.

SAS može koristiti i veliki set vrste RAID-a. Divovi kao što su Adaptec ili LSI Logic nude napredni skup funkcija za proširenje, migraciju, ugniježđenje i druge karakteristike u svojim proizvodima, uključujući distribuirane RAID nizove na više kontrolera i diskova.

Konačno, većina radnji koje se danas spominju već se izvode „u hodu“. Ovdje treba izdvojiti odlične proizvode AMCC/3Ware , Areca i Broadcom/Raidcore, što je omogućilo prenos karakteristika poslovne klase u SATA prostore.

U poređenju sa SATA, tradicionalna implementacija SCSI gubi tlo pod nogama na svim frontovima osim u vrhunskim poslovnim rješenjima. SATA ponude odgovarajućih tvrdih diskova, ima dobru cijenu i širok asortiman odluke. I ne zaboravimo još jednu "pametnu" karakteristiku SAS-a: lako se slaže sa postojećom SATA infrastrukturom, budući da SAS host adapteri lako rade sa SATA diskovima. Ali SAS disk se ne može povezati sa SATA adapterom.


Izvor: Adaptec.

Prvo, čini nam se, trebalo bi da se okrenemo istoriji SAS-a. SCSI standard (skraćeno od "small computer system interface") je oduvijek smatran profesionalnom magistralom za povezivanje drajvova i nekih drugih uređaja sa računarima. Tvrdi diskovi za servere i radne stanice i dalje koriste SCSI tehnologiju. Za razliku od masovnog ATA standarda, koji omogućava povezivanje samo dva diska na jedan port, SCSI omogućava povezivanje do 15 uređaja na jednu magistralu i nudi moćan komandni protokol. Uređaji moraju imati jedinstveni SCSI ID, koji se može dodijeliti ručno ili putem SCAM (SCSI konfiguracija automatski) protokola. Budući da ID-ovi uređaja za sabirnice dva ili više SCSI adaptera možda nisu jedinstveni, dodani su brojevi logičkih jedinica (LUN-ovi) kako bi se lakše identificirali uređaji u složenim SCSI okruženjima.

SCSI hardver je fleksibilniji i pouzdaniji od ATA (ovaj standard se naziva i IDE, Integrated Drive Electronics). Uređaji se mogu povezivati ​​kako unutar računara tako i spolja, a dužina kabla može biti do 12 m, ako je pravilno završen (kako bi se izbjegla refleksija signala). Kako je SCSI evoluirao, pojavili su se brojni standardi koji određuju različite širine magistrale, brzine takta, konektore i napone signala (Fast, Wide, Ultra, Ultra Wide, Ultra2, Ultra2 Wide, Ultra3, Ultra320 SCSI). Srećom, svi koriste isti skup naredbi.

Bilo koja SCSI komunikacija se uspostavlja između inicijatora (host adaptera) koji šalje komande i ciljnog pogona koji na njih odgovara. Odmah po prijemu skupa naredbi, ciljni pogon šalje takozvani senzorni kod (status: zauzet, greška ili slobodan), po kojem će inicijator znati da li će dobiti željeni odgovor ili ne.

SCSI protokol specificira skoro 60 različitih naredbi. Podijeljeni su u četiri kategorije: bez podataka, dvosmjerni, čitanje podataka i pisanje podataka.

Ograničenja SCSI počinju da se pojavljuju kada dodate drajvove na sabirnicu. Danas je teško pronaći čvrsti disk koji može u potpunosti učitati 320 MB/s protok Ultra320 SCSI. Ali pet ili više vožnji na istom autobusu je sasvim druga stvar. Opcija bi bila dodavanje drugog host adaptera za balansiranje opterećenja, ali to ima svoju cijenu. Problem predstavljaju i kablovi: upredeni kablovi od 80 žica su veoma skupi. Ako želite da dobijete i "hot swap" diskova, odnosno laku zamenu neispravnog diska, onda je potrebna posebna oprema (backplane).

Naravno, najbolje je smestiti drajvove u odvojene uređaje ili module, koji se obično mogu zameniti na vrući način zajedno sa drugim lepim kontrolnim karakteristikama. Kao rezultat toga, na tržištu postoji više profesionalnih SCSI rješenja. Ali svi oni koštaju mnogo, zbog čega se SATA standard tako brzo razvio posljednjih godina. I iako SATA nikada neće zadovoljiti potrebe vrhunskih poslovnih sistema, ovaj standard savršeno nadopunjuje SAS u stvaranju novih skalabilnih rješenja za mrežna okruženja sljedeće generacije.


SAS ne koristi zajedničku magistralu za više uređaja. Izvor: Adaptec.

SATA


Na lijevoj strani je SATA konektor za prijenos podataka. Sa desne strane je konektor za napajanje. Postoji dovoljno pinova za napajanje 3,3V, 5V i 12V napona za svaki SATA disk.

SATA standard je na tržištu već nekoliko godina, a danas je dostigao svoju drugu generaciju. SATA I je imao propusnost od 1,5 Gb/s sa dvije serijske veze koristeći niskonaponsku diferencijalnu signalizaciju. Fizički sloj koristi 8/10-bitno kodiranje (10 stvarnih bitova za 8 bitova podataka), što predstavlja maksimalnu propusnost interfejsa od 150 MB/s. Nakon prelaska SATA na brzinu od 300 MB/s, mnogi su novi standard počeli zvati SATA II, iako je tokom standardizacije SATA-IO(Međunarodna organizacija) planirala je da prvo doda više funkcija, a zatim da ga nazove SATA II. Stoga se najnovija specifikacija zove SATA 2.5, uključuje SATA ekstenzije kao što su Native Command Queuing(NCQ) i eSATA (eksterni SATA), množitelji portova (do četiri diska po portu) itd. Ali dodatne SATA funkcije su opcione i za kontroler i za sam čvrsti disk.

Nadajmo se da će 2007. godine SATA III na 600 MB/s ipak biti objavljen.

Tamo gdje su paralelni ATA (UltraATA) kablovi bili ograničeni na 46 cm, SATA kablovi mogu biti dugi do 1 m, a za eSATA dvostruko više. Umjesto 40 ili 80 žica, serijski prijenos zahtijeva samo nekoliko pinova. Stoga su SATA kablovi veoma uski, lako se provlače u kućište računara i ne ometaju toliko protok vazduha. Jedan uređaj se oslanja na SATA port, što ga čini interfejsom od tačke do tačke.


SATA konektori za podatke i napajanje pružaju odvojene utikače.

SAS


Protokol signalizacije ovdje je isti kao i kod SATA. Izvor: Adaptec.

Lijepa karakteristika Serial Attached SCSI je da tehnologija podržava i SCSI i SATA, zbog čega SAS ili SATA diskovi (ili oba standarda) mogu biti povezani na SAS kontrolere. Međutim, SAS diskovi ne mogu raditi sa SATA kontrolerima zbog upotrebe serijskog SCSI protokola (SSP). Poput SATA, SAS slijedi princip veze točka-točka za diskove (danas 300 MB/s), a zahvaljujući SAS ekspanderima (ili ekspanderima, ekspanderima), može se povezati više diskova nego što je dostupnih SAS portova. SAS čvrsti diskovi podržavaju dva porta, svaki sa svojim jedinstvenim SAS ID-om, tako da možete koristiti dvije fizičke veze kako biste osigurali redundantnost - povežite disk na dva različita hosta. Zahvaljujući STP (SATA Tunneling Protocol), SAS kontroleri mogu komunicirati sa SATA diskovima povezanim na ekspander.


Izvor: Adaptec.



Izvor: Adaptec.



Izvor: Adaptec.

Naravno, jedina fizička veza SAS ekspandera sa glavnim kontrolerom može se smatrati "uskim grlom", tako da su široki SAS portovi predviđeni u standardu. Široki port grupiše više SAS veza u jednu vezu između bilo koja dva SAS uređaja (obično između host kontrolera i ekstendera/proširivača). Broj priključaka unutar veze može se povećati, sve ovisi o postavljenim zahtjevima. Ali redundantne veze nisu podržane, niti su dozvoljene petlje ili prstenovi.


Izvor: Adaptec.

Buduće implementacije SAS-a će dodati 600 i 1200 MB/s propusnog opsega po portu. Naravno, performanse tvrdih diskova neće se povećati u istom omjeru, ali će biti zgodnije koristiti ekspandere na malom broju portova.



Uređaji pod nazivom "Fan Out" i "Edge" su ekspanderi. Ali samo glavni Fan Out ekspander može raditi sa SAS domenom (pogledajte 4x vezu u centru dijagrama). Dozvoljeno je do 128 fizičkih veza po Edge ekspanderu, a možete koristiti široke portove i/ili povezati druge ekspandere/drive. Topologija može biti prilično složena, ali u isto vrijeme fleksibilna i moćna. Izvor: Adaptec.



Izvor: Adaptec.

Pozadinska ploča je osnovni građevni blok svakog sistema za skladištenje koji treba da se priključi na toplo. Stoga, SAS ekspanderi često uključuju moćne uređaje (i u jednom slučaju i ne). Tipično, jedna veza se koristi za povezivanje jednostavnog snap-ina na host adapter. Ekspanderi sa ugrađenim snap-inovima, naravno, oslanjaju se na višekanalne veze.

Za SAS su razvijena tri tipa kablova i konektora. SFF-8484 je višežilni interni kabel koji povezuje host adapter sa opremom. U principu, isto se može postići grananjem ovog kabla na jednom kraju u nekoliko odvojenih SAS konektora (pogledajte ilustraciju ispod). SFF-8482 je konektor preko kojeg je pogon povezan na jedno SAS sučelje. Konačno, SFF-8470 je eksterni višežilni kabel, dužine do šest metara.


Izvor: Adaptec.


SFF-8470 kabel za eksterne multilink SAS veze.


Višežilni kabel SFF-8484. Četiri SAS kanala/porta prolaze kroz jedan konektor.


SFF-8484 kabl koji vam omogućava da povežete četiri SATA drajva.

SAS kao dio SAN rješenja

Zašto su nam potrebne sve ove informacije? Većina korisnika se neće približiti SAS topologiji o kojoj smo gore govorili. Ali SAS je više od interfejsa nove generacije za profesionalne čvrste diskove, iako je idealan za izgradnju jednostavnih i složenih RAID nizova zasnovanih na jednom ili više RAID kontrolera. SAS je sposoban za više. Ovo je point-to-point serijski interfejs koji se lako povećava kako dodajete broj veza između bilo koja dva SAS uređaja. SAS diskovi dolaze sa dva porta, tako da možete povezati jedan port preko ekspandera na host sistem, a zatim kreirati rezervnu putanju do drugog host sistema (ili drugog ekspandera).

Komunikacija između SAS adaptera i ekspandera (kao i između dva ekspandera) može biti široka koliko su dostupni SAS portovi. Ekspanderi su obično sistemi montirani u stalak koji mogu da prime veliki broj diskova, a moguće povezivanje SAS-a na viši uređaj u hijerarhiji (na primer, host kontroler) ograničeno je samo mogućnostima ekspandera.

Sa bogatom i funkcionalnom infrastrukturom, SAS vam omogućava da kreirate složene topologije skladištenja, umesto namenskih čvrstih diskova ili odvojene mrežne memorije. U ovom slučaju, "komplikovano" ne bi trebalo da znači da je teško raditi sa takvom topologijom. SAS konfiguracije se sastoje od jednostavnih diskova ili koriste ekspandere. Bilo koja SAS veza može se povećati ili smanjiti ovisno o zahtjevima za propusnost. Možete koristiti i moćne SAS čvrste diskove i SATA modele velikog kapaciteta. Zajedno sa moćnim RAID kontrolerima, možete lako postaviti, proširiti ili rekonfigurisati nizove podataka - kako u pogledu RAID nivoa tako i na strani hardvera.

Sve ovo postaje još važnije kada uzmete u obzir koliko brzo korporativno skladištenje raste. Danas svi govore o SAN - mreži za skladištenje podataka. To podrazumijeva decentraliziranu organizaciju podsistema za pohranu podataka sa tradicionalnim serverima koji koriste fizički udaljena skladišta. By postojeće mreže gigabit Ethernet ili Fibre Channel, lansira se malo modifikovani SCSI protokol, enkapsuliran u Ethernet pakete (iSCSI - Internet SCSI). Sistem koji se pokreće od jednog tvrdog diska do složenih ugniježđenih RAID nizova postaje takozvani cilj (target) i vezan je za inicijator (host sistem, pokretač), koji tretira cilj kao da je samo fizički element.

iSCSI vam, naravno, omogućava kreiranje strategije za razvoj skladištenja, organizacije podataka ili kontrole pristupa. Dobijamo još jedan nivo fleksibilnosti uklanjanjem prostora za skladištenje koji je direktno povezan sa serverima, dozvoljavajući svakom podsistemu za skladištenje da postane iSCSI cilj. Prelazak na udaljeno skladište čini sistem nezavisnim od servera za skladištenje (opasna tačka kvara) i poboljšava upravljivost hardvera. Sa programske tačke gledišta, skladište je i dalje "unutar" servera. iSCSI cilj i inicijator mogu biti u blizini, na različitim spratovima, u različitim prostorijama ili zgradama - sve zavisi od kvaliteta i brzine IP veze između njih. Sa ove tačke gledišta, važno je napomenuti da SAN nije dobro prilagođen zahtevima onlajn aplikacija kao što su baze podataka.

2,5" SAS čvrsti diskovi

Hard diskovi od 2,5" za profesionalni sektor još uvijek se doživljavaju kao novitet. Već duže vrijeme recenziramo prvi takav disk iz Seagate-a - 2,5" Ultra320 Savvio koji je ostavio dobar utisak. Svi 2.5" SCSI diskovi koriste brzinu vretena od 10.000 o/min, ali su ispod nivoa performansi 3.5" tvrdih diskova sa istom brzinom vretena. Činjenica je da se vanjske staze 3,5" modela rotiraju većom linearnom brzinom, što osigurava veću brzinu prijenosa podataka.

Prednost malih tvrdih diskova nije u kapacitetu: danas je za njih maksimum i dalje 73 GB, dok kod tvrdih diskova poslovne klase od 3,5" već dobijamo 300 GB. U mnogim oblastima, odnos performansi i fizičkog volumena je zauzet. je veoma važna ili energetska efikasnost. Što više tvrdih diskova koristite, to više performansi dobijate – upareno sa odgovarajućom infrastrukturom, naravno. Istovremeno, 2,5" hard diskovi troše skoro upola manje energije od 3,5" konkurencije. uzimamo u obzir omjer performansi po vatu (I/O operacije po vatu), faktor oblika od 2,5" daje vrlo dobre rezultate.

Ako vam je potreban kapacitet iznad svega, onda 3,5" diskovi sa 10.000 o/min vjerojatno neće biti najbolji izbor. Činjenica je da 3,5" SATA tvrdi diskovi pružaju 66% više kapaciteta (500 umjesto 300 GB po tvrdom disku), ostavljajući nivo performansi prihvatljivo. Mnogi proizvođači hard diskova nude SATA modele za 24/7 rad, a cijena diskova je svedena na minimum. Problemi s pouzdanošću mogu se riješiti kupovinom rezervnih (rezervnih) drajvova za trenutnu zamjenu u nizu.

MAY linija predstavlja Fujitsu trenutnu generaciju 2,5" drajvova za profesionalni sektor. Brzina rotacije je 10,025 o/min, a kapaciteti su 36,7 i 73,5 GB. Svi diskovi dolaze sa 8 MB keš memorije i daju prosječno vrijeme traženja čitanja 4,0 ms i 4,5 ms piše Kao što smo već spomenuli, zgodna karakteristika 2.5" tvrdih diskova je smanjena potrošnja energije. Obično jedan tvrdi disk od 2,5" štedi najmanje 60% energije u poređenju sa 3,5" diskom.

3,5" SAS čvrsti diskovi

MAX je Fujitsuova trenutna linija tvrdih diskova visokih performansi od 15.000 o/min. Dakle, ime savršeno odgovara. Za razliku od 2,5" diskova, ovde dobijamo ogromnih 16MB keš memorije i kratko prosečno vreme traženja od 3,3ms za čitanje i 3,8ms za pisanje. Fujitsu nudi modele od 36,7GB, 73,4GB i 146GB. GB (sa jednim, dva i četiri ploče).

Fluid-dinamički ležajevi su također došli do tvrdih diskova poslovne klase, tako da su novi modeli znatno tiši od prethodnih pri 15.000 o/min. Naravno, takve hard diskove treba pravilno hladiti, a oprema to takođe omogućava.

Hitachi Global Storage Technologies takođe nudi sopstvenu liniju rešenja visokih performansi. UltraStar 15K147 radi na 15.000 o/min i ima 16 MB keš memorije, baš kao i Fujitsu diskovi, ali je konfiguracija ploče drugačija. Model od 36,7 GB koristi dvije ploče umjesto jedne, dok model od 73,4 GB koristi tri ploče umjesto dva. To ukazuje na manju gustoću podataka, ali takav dizajn, u stvari, omogućava vam da ne koristite unutarnja, najsporija područja ploča. Kao rezultat toga, glave se moraju manje pomicati, što daje bolje prosječno vrijeme pristupa.

Hitachi takođe nudi modele od 36,7 GB, 73,4 GB i 147 GB sa predviđenim vremenom traženja (čitanja) od 3,7 ms.

Iako je Maxtor već postao dio Seagatea, proizvodne linije kompanije su i dalje očuvane. Proizvođač nudi modele od 36, 73 i 147 GB, od kojih svi imaju brzinu vretena od 15.000 o/min i 16 MB keš memorije. Kompanija tvrdi da je prosječno vrijeme traženja 3,4 ms za čitanje i 3,8 ms za upisivanje.

Cheetah se dugo povezivao sa tvrdim diskovima visokih performansi. Seagate je uspeo da uspostavi sličnu asocijaciju sa izdavanjem Barracuda u segmentu desktop računara, nudeći prvi desktop drajv od 7200 RPM 2000. godine.

Dostupan u modelima od 36,7 GB, 73,4 GB i 146,8 GB. Sve ih odlikuje brzina vretena od 15.000 o/min i 8 MB keš memorije. Prosečno vreme traženja za čitanje je 3,5 ms, a za pisanje 4,0 ms.

Host adapteri

Za razliku od SATA kontrolera, SAS komponente se mogu naći samo na matičnim pločama serverskog nivoa ili kao kartice za proširenje za PCI-X ili PCI Express. Ako odemo korak dalje i pogledamo RAID kontrolere (Redundant Array of Inexpensive Drives), oni se uglavnom prodaju kao pojedinačne kartice zbog svoje složenosti. RAID kartice sadrže ne samo sam kontroler, već i čip ubrzanja za izračunavanje redundantnih informacija (XOR motor), kao i keš memoriju. Mala količina memorije je ponekad zalemljena na karticu (najčešće 128 MB), ali neke kartice vam omogućavaju da proširite količinu koristeći DIMM ili SO-DIMM.

Prilikom odabira host adaptera ili RAID kontrolera, trebali biste jasno definirati šta vam je potrebno. Asortiman novih uređaja raste pred našim očima. Jednostavni adapteri za više portova će koštati relativno malo, dok će moćne RAID kartice koštati mnogo. Razmislite gdje ćete postaviti svoje diskove: eksterna pohrana zahtijeva najmanje jedan eksterni slot. Rack serveri obično zahtijevaju kartice niskog profila.

Ako vam je potreban RAID, odlučite hoćete li koristiti hardversko ubrzanje. Neke RAID kartice uzimaju CPU resurse za XOR proračune za RAID 5 ili 6 nizove; drugi koriste vlastiti XOR hardverski mehanizam. RAID ubrzanje se preporučuje za okruženja u kojima server radi više od skladištenja podataka, kao što su baze podataka ili web serveri.

Sve host adapterske kartice koje smo citirali u našem članku podržavaju 300 MB/s po SAS portu i omogućavaju vrlo fleksibilnu implementaciju infrastrukture za skladištenje. Danas će malo ljudi biti iznenađeni eksternim portovima, a uzmite u obzir i podršku za SAS i SATA hard diskove. Sve tri kartice koriste PCI-X interfejs, ali PCI Express verzije su već u razvoju.

U našem članku obratili smo pažnju na kartice sa osam portova, ali broj povezanih tvrdih diskova nije ograničen samo na to. Uz pomoć SAS ekspandera (eksternog) možete povezati bilo koju pohranu. Sve dok je veza sa 4 trake dovoljna, možete povećati broj tvrdih diskova do 122. Zbog troškova performansi izračunavanja informacija o paritetu RAID 5 ili RAID 6, tipične eksterne RAID memorije neće moći učitati quad-lane bandwidth dovoljan, čak i ako se koristi veliki broj drajvova.

48300 je SAS host adapter dizajniran za PCI-X magistralu. Tržištem servera danas i dalje dominira PCI-X, iako je sve više matičnih ploča opremljeno PCI Express interfejsima.

Adaptec SAS 48300 koristi PCI-X interfejs na 133 MHz, dajući propusnost od 1,06 GB/s. Dovoljno brzo ako PCI sabirnica-X ne učitavaju drugi uređaji. Ako u sabirnicu uključite uređaj manje brzine, sve ostale PCI-X kartice će smanjiti svoju brzinu na istu. U tu svrhu, nekoliko PCI-X kontrolera se ponekad instalira na ploču.

Adaptec pozicionira SAS 4800 za servere i radne stanice srednjeg i niskog ranga. Preporučena maloprodajna cijena je 360 ​​dolara, što je sasvim razumno. Podržana je funkcija Adaptec HostRAID koja vam omogućava nadogradnju na najjednostavnije RAID nizove. U ovom slučaju to su RAID nivoi 0, 1 i 10. Kartica podržava eksternu četvorokanalnu SFF8470 vezu, kao i interni SFF8484 konektor uparen sa kablom za četiri SAS uređaja, odnosno dobijamo osam portova u ukupno.

Kartica se uklapa u 2U rack server kada je instaliran niskoprofilni poklopac slota. Paket takođe uključuje CD sa drajverom, vodič za brzu instalaciju i interni SAS kabl preko kojeg se do četiri sistemska drajva mogu povezati na karticu.

SAS player LSI Logic nam je poslao SAS3442X PCI-X host adapter, direktni konkurent Adaptec SAS 48300. Dolazi sa osam SAS portova koji su podijeljeni između dva quad-lane interfejsa. "Srce" kartice je LSI SAS1068 čip. Jedan od interfejsa je namenjen za interne uređaje, drugi - za eksterni DAS (Direct Attached Storage). Ploča koristi PCI-X 133 bus interfejs.

Kao i obično, 300 MB/s interfejs je podržan za SATA i SAS drajvove. Na kontrolnoj ploči nalazi se 16 LED dioda. Osam od njih su LED diode za jednostavne aktivnosti, a još osam je dizajnirano da prijave kvar sistema.

LSI SAS3442X je kartica niskog profila, tako da se lako uklapa u bilo koji 2U rack server.

Imajte na umu podršku drajvera za Linux, Netware 5.1 i 6, Windows 2000 i Server 2003 (x64), Windows XP (x64) i Solaris do 2.10. Za razliku od Adapteca, LSI je odlučio da ne doda podršku za bilo koji RAID način rada.

RAID adapteri

SAS RAID4800SAS je Adaptec-ovo rešenje za složenija SAS okruženja i može se koristiti za servere aplikacija, servere za striming i još mnogo toga. Pred nama je, opet, kartica sa osam portova, sa jednom eksternom četvorostrukom SAS vezom i dva interna interfejsa sa četiri trake. Ali ako se koristi eksterna veza, onda od internih ostaje samo jedno četverokanalno sučelje.

Kartica je takođe dizajnirana za PCI-X 133 magistralu, koja pruža dovoljno propusnog opsega čak i za najzahtjevnije RAID konfiguracije.

Što se tiče RAID režima, SAS RAID 4800 lako nadmašuje svog "mlađeg brata": RAID nivoi 0, 1, 10, 5, 50 su podržani po podrazumevanoj vrednosti ako imate dovoljno diskova. Za razliku od 48300, Adaptec je uložio dva SAS kabla tako da možete odmah spojiti osam tvrdih diskova na kontroler. Za razliku od 48300, kartica zahtijeva PCI-X slot pune veličine.

Ako odlučite nadograditi svoju karticu na Adaptec Napredni paket za zaštitu podataka, moći ćete da izvršite nadogradnju na dvostruko redundantne RAID modove (6, 60), kao i niz funkcija poslovne klase: prugasti zrcalni pogon (RAID 1E), hot razmak (RAID 5EE) i hot spare za kopiranje. Uslužni program Adaptec Storage Manager ima interfejs sličan pretraživaču i može se koristiti za upravljanje svim Adaptec adapterima.

Adaptec obezbeđuje drajvere za Windows Server 2003 (i x64), Windows 2000 Server, Windows XP (x64), Novell Netware, Red Hat Enterprise Linux 3 i 4, SuSe Linux Enterprise Server 8 i 9 i FreeBSD.

SAS dodaci

335SAS je dodatak za SAS ili SATA sa četiri diska, ali mora biti povezan na SAS kontroler. Zahvaljujući ventilatoru od 120 mm, diskovi će biti dobro hlađeni. Takođe ćete morati da povežete dva Molex utikača za napajanje na opremu.

Adaptec je uključio I2C kabl koji se može koristiti za kontrolu opreme preko odgovarajućeg kontrolera. Ali sa SAS diskovima ovo više neće raditi. Dodatni LED kabel je dizajniran da signalizira aktivnost diskova, ali, opet, samo za SATA diskove. Paket takođe uključuje interni SAS kabl za četiri diska, tako da će eksterni četvorokanalni kabl biti dovoljan za povezivanje drajvova. Ako želite koristiti SATA diskove, morat ćete koristiti SAS na SATA adaptere.

Maloprodajna cijena od 369 dolara nije jeftina. Ali dobit ćete čvrsto i pouzdano rješenje.

SAS pohrana

SANbloc S50 je rješenje poslovne klase s 12 diskova. Dobit ćete kućište od 2U u stalak koje se povezuje na SAS kontrolere. Ovo je jedan od najboljih primjera skalabilnih SAS rješenja. 12 diskova mogu biti SAS ili SATA. Ili predstavljaju mješavinu oba tipa. Ugrađeni ekspander može koristiti jedno ili dva četverostruka SAS sučelja za povezivanje S50 na host adapter ili RAID kontroler. S obzirom da imamo jasno profesionalno rješenje, opremljen je sa dva izvora napajanja (sa redundansom).

Ako ste već kupili Adaptec SAS host adapter, možete ga jednostavno povezati sa S50 i upravljati diskovima pomoću Adaptec Storage Managera. Ako instalirate 500 GB SATA hard diskove, onda dobijamo 6 TB prostora za pohranu. Ako uzmemo SAS diskove od 300 GB, onda će kapacitet biti 3,6 TB. Budući da je ekspander povezan sa host kontrolerom preko dva četvorostruka interfejsa, dobićemo propusnost od 2,4 GB/s, što će biti više nego dovoljno za niz bilo koje vrste. Ako instalirate 12 diskova u RAID0 niz, tada će maksimalna propusnost biti samo 1,1 GB / s. Sredinom ove godine Adaptec obećava da će objaviti malo izmijenjenu verziju sa dva nezavisna SAS I/O bloka.

SANbloc S50 sadrži funkciju automatskog nadzora i automatske kontrole brzine ventilatora. Da, uređaj je preglasan, pa smo s olakšanjem vratili ga iz laboratorije nakon što su testovi završeni. Poruka o grešci pogona se šalje kontroleru preko SES-2 (SCSI Enclosure Services) ili preko fizičkog I2C sučelja.

Radne temperature za aktuatore su 5-55°C, a za pribor - od 0 do 40°C.

Na početku naših testova, dobili smo maksimalnu propusnost od samo 610 MB/s. Promjenom kabela između S50 i Adaptec host kontrolera i dalje smo uspjeli dostići 760 MB/s. Koristili smo sedam tvrdih diskova za učitavanje sistema u RAID 0 modu. Povećanje broja tvrdih diskova nije dovelo do povećanja propusnosti.

Testna konfiguracija

Sistemski hardver
Procesori 2x Intel Xeon (Nocona jezgro)
3,6 GHz, FSB800, 1 MB L2 keš memorije
Platforma Asus NCL-DS (Socket 604)
Čipset Intel E7520, BIOS 1005
Memorija Corsair CM72DD512AR-400 (DDR2-400 ECC, reg.)
2x 512 MB, CL3-3-3-10
Sistemski čvrsti disk Western Digital Caviar WD1200JB
120 GB, 7200 o/min, 8 MB keš memorije, UltraATA/100
Drive Controllers Kontroler Intel 82801EB UltraATA/100 (ICH5)

Obećavam SATA 300TX4
Driver 1.0.0.33

Adaptec AIC-7902B Ultra320
Driver 3.0

Adaptec 48300 8 porta PCI-X SAS
Driver 1.1.5472

Adaptec 4800 8 porta PCI-X SAS
Driver 5.1.0.8360
Firmware 5.1.0.8375

LSI Logic SAS3442X 8 porta PCI-X SAS
Vozač 1.21.05
BIOS 6.01

Trezori
Unutrašnja oprema sa 4 ležišta, zamenljiva na vruće

2U, 12-HDD SAS/SATA JBOD

Net Broadcom BCM5721 Gigabit Ethernet
video kartica ugrađen
ATI RageXL, 8 MB
Testovi
mjerenje performansi c "t h2benchw 3.6
Mjerenje I/O performansi IOmetar 2003.05.10
Fileserver Benchmark
webserver-benchmark
baza podataka-benchmark
Workstation Benchmark
Sistemski softver i drajveri
OS Microsoft Windows Server 2003 Enterprise Edition servisni paket 1
Vozač platforme Intelov uslužni program za instalaciju skupa čipova 7.0.0.1025
Graficki drajver Skripta radne stanice.

Nakon ispitivanja nekoliko novih SAS hard diskova, tri povezana kontrolera i dva snap-ina, postalo je jasno da je SAS zaista obećavajuća tehnologija. Ako pogledate tehničku dokumentaciju SAS-a, shvatit ćete zašto. Ne samo da je ovo nasljednik serijskog SCSI (brz, praktičan i jednostavan za korištenje), već nudi i veliki nivo skalabilnosti i rasta infrastrukture zbog čega Ultra320 SCSI rješenja izgledaju kao kameno doba.

A kompatibilnost je jednostavno odlična. Ako planirate da kupite profesionalni SATA hardver za vaš server, vredi pogledati SAS. Bilo koji SAS kontroler ili dodatna oprema kompatibilni su i sa SAS i SATA čvrstim diskovima. Stoga možete kreirati i SAS okruženje visokih performansi i prostrano SATA okruženje - ili oboje.

Pogodna podrška za eksternu pohranu je još jedna važna prednost SAS-a. Ako SATA skladište koristi ili vlasnička rješenja ili jednu SATA/eSATA vezu, SAS memorijsko sučelje dozvoljava povećanu propusnost u grupama od četiri SAS veze. Kao rezultat toga, dobijamo priliku da povećamo propusni opseg za potrebe aplikacija, a ne da se oslanjamo na 320 MB/s UltraSCSI ili 300 MB/s SATA. Štaviše, SAS ekspanderi vam omogućavaju da kreirate čitavu hijerarhiju SAS uređaja, tako da administratori imaju više slobode delovanja.

Evolucija SAS uređaja se tu neće završiti. Čini nam se da se UltraSCSI interfejs može smatrati zastarelim i polako otpisanim. Malo je vjerovatno da će ga industrija poboljšati, osim ako ne nastavi podržavati postojeće implementacije UltraSCSI. Ipak, novi hard diskovi, najnoviji modeli skladišta i opreme, kao i povećanje brzine interfejsa na 600 MB/s, a zatim na 1200 MB/s - sve je to namenjeno SAS-u.

Kakva bi trebala biti moderna skladišna infrastruktura? Sa dostupnošću SAS-a, dani UltraSCSI su odbrojani. Sekvencijalna verzija je logičan korak naprijed i radi sve bolje od svog prethodnika. Pitanje izbora između UltraSCSI i SAS postaje očigledno. Odabir između SAS ili SATA je nešto teži. Ali ako pogledate u budućnost, SAS komponente će i dalje biti bolje. Zaista, za maksimalne performanse ili u smislu skalabilnosti, danas ne postoji alternativa SAS-u.

Hard disk za server, karakteristike po izboru

Čvrsti disk je najvrednija komponenta svakog računara. Na kraju krajeva, on pohranjuje informacije sa kojima računar i korisnik rade, u slučaju da govorimo o personalnom računaru. Osoba, svaki put kada sjedne za računar, očekuje da će sada proći ekran za učitavanje operativnog sistema i da će početi raditi sa svojim podacima, koje će tvrdi disk izdati "na planinu" iz njegovih crijeva. Ako govorimo o hard disku, ili čak o nizu njih kao dijelu servera, onda postoje desetine, stotine i hiljade takvih korisnika koji očekuju pristup ličnim ili radnim podacima. A sav njihov miran rad ili rekreacija i zabava ovisi o ovim uređajima koji stalno pohranjuju podatke u sebe. Već iz ovog poređenja jasno je da zahtjevi za hard diskovima kućne i industrijske klase nisu ekvivalentni - u prvom slučaju s njim radi jedan korisnik, u drugom hiljade. Ispostavilo se da bi drugi hard disk trebao biti višestruko pouzdaniji, brži, stabilniji od prvog, jer s njim rade, mnogi korisnici se na njega oslanjaju. Ovaj članak će govoriti o vrstama koje se koriste u korporativnom sektoru tvrdi diskovi i karakteristike njihovog dizajna, omogućavajući postizanje najveće pouzdanosti i performansi.

SAS i SATA diskovi - tako slični i tako različiti

Donedavno su se standardi industrijskih i potrošačkih hard diskova značajno razlikovali i bili nekompatibilni - SCSI i IDE, sada se situacija promijenila - velika većina tvrdih diskova na tržištu su SATA i SAS (Serial Attached SCSI) hard diskovi. SAS konektor je svestran i kompatibilan sa SATA-om. Ovo vam omogućava da direktno povežete na SAS sistem i SAS diskove velike brzine, ali istovremeno malog kapaciteta (do 300 GB u trenutku pisanja), kao i sporije, ali višestruko veće SATA diskove (up do 2 TB u vrijeme pisanja). ). Tako je u jednom podsistemu diska moguće kombinovati vitalne aplikacije koje zahtevaju visoke performanse i brz pristup podacima, i ekonomičnije aplikacije sa nižom cenom po gigabajtu.

Ova interoperabilnost koristi i proizvođačima stražnjih ploča i krajnjim korisnicima smanjenjem hardverskih i inženjerskih troškova.

To jest, i SAS uređaji i SATA uređaji mogu biti povezani na SAS konektore, a samo SATA uređaji mogu biti povezani na SATA konektore.

SAS i SATA - velike brzine i velikog kapaciteta. Šta odabrati?

SAS diskovi, koji su zamenili SCSI diskove, u potpunosti su nasledili svoja glavna svojstva koja karakterišu čvrsti disk: brzinu vretena (15000 o/min) i standarde zapremine (36,74,147 i 300 GB). Međutim, sama SAS tehnologija se značajno razlikuje od SCSI. Pogledajmo na brzinu glavne razlike i karakteristike: SAS interfejs koristi vezu od tačke do tačke – svaki uređaj je povezan sa kontrolerom preko namenskog kanala, za razliku od njega, SCSI radi na zajedničkoj magistrali.

SAS podržava veliki broj uređaja (> 16384), dok SCSI interfejs podržava 8, 16 ili 32 uređaja na magistrali.

SAS interfejs podržava brzine prenosa podataka između uređaja pri brzinama od 1,5; 3; 6 Gb/s, dok brzina sabirnice SCSI interfejsa nije dodijeljena svakom uređaju, već je podijeljena između njih.

SAS podržava povezivanje sporijih SATA uređaja.

SAS konfiguracije su mnogo lakše sastaviti i instalirati. Takav sistem je lakše skalirati. Pored toga, SAS čvrsti diskovi su nasledili pouzdanost SCSI čvrstih diskova.

Prilikom odabira diskovnog podsistema - SAS ili SATA, morate se voditi o tome koje funkcije će obavljati server ili radna stanica. Da biste to učinili, morate se odlučiti za sljedeća pitanja:

1. Koliko će simultanih, različitih zahtjeva obraditi disk? Ako su veliki - vaš jasan izbor - SAS diskovi. Također, ako će vaš sistem opsluživati ​​veliki broj korisnika - odaberite SAS.

2. Koliko informacija će biti pohranjeno na diskovnom podsistemu vašeg servera ili radne stanice? Ako je više od 1-1,5 TB, treba obratiti pažnju na sistem baziran na SATA čvrstim diskovima.

3. Koliki je budžet izdvojen za kupovinu servera ili radne stanice? Treba imati na umu da će vam osim SAS diskova trebati i SAS kontroler, koji također treba uzeti u obzir.

4. Planirate li, kao rezultat, povećati obim podataka, povećati produktivnost ili povećati otpornost sistema na greške? Ako je tako, onda vam je potreban diskovni podsistem baziran na SAS-u, lakši je za skaliranje i pouzdaniji.

5. Vaš server će pokretati kritične podatke i aplikacije - vaš izbor su SAS diskovi za teške uslove rada.

Pouzdan diskovni podsistem, to nisu samo visokokvalitetni hard diskovi poznatog proizvođača, već i eksterni kontroler diska. O njima će biti riječi u jednom od sljedećih članaka. Razmotrite SATA drajvove, koji su tipovi ovih drajvova i koje bi trebalo koristiti pri izgradnji serverskih sistema.

SATA diskovi: potrošački i industrijski sektor

SATA diskovi koji se koriste svuda, od potrošačke elektronike i kućnih računara do radnih stanica i servera visokih performansi, razlikuju se po podvrstama, postoje diskovi za upotrebu u kućanskim aparatima, sa niskim rasipanjem toplote, potrošnjom energije, a kao rezultatom, niskim performansama, postoje diskovi - srednje klase, za kućne računare, a postoje i drajveri za sisteme visokih performansi. U ovom članku ćemo razmotriti klasu tvrdih diskova za produktivne sisteme i servere.

Karakteristike performansi

HDD klase servera

HDD desktop klasa

Brzina rotacije

7.200 o/min (nominalno)

7.200 o/min (nominalno)

Veličina keša

Prosječno vrijeme kašnjenja

4,20 ms (nominalno)

6,35 ms (nominalno)

Brzina prijenosa

Čitanje iz predmemorije diska (Serial ATA)

maksimalno 3 Gb/s

maksimalno 3 Gb/s

fizičke karakteristike

Kapacitet nakon formatiranja

1,000,204 MB

1,000,204 MB

Kapacitet

Interface

SATA 3Gb/s

SATA 3Gb/s

Broj sektora dostupnih korisniku

1 953 525 168

1 953 525 168

Dimenzije

Visina

25.4mm

25.4mm

Dužina

147 mm

147 mm

Širina

101,6 mm

101,6 mm

0,69 kg

0,69 kg

otpornost na udar

Otpornost na udarce u radnom stanju

65G, 2ms

30G; 2 ms

Otpornost na udarce kada se ne koristi

250G, 2ms

250G, 2ms

Temperatura

U radnom stanju

-0° C do 60° C

-0° C do 50° C

Ne radi

-40° C do 70° C

-40° C do 70° C

Vlažnost

U radnom stanju

relativna vlažnost 5-95%

Ne radi

relativna vlažnost 5-95%

relativna vlažnost 5-95%

Vibracije

U radnom stanju

Linearno

20-300Hz, 0,75g (0 do maksimuma)

22-330Hz, 0,75g (0 do maksimuma)

Besplatno

0,004 g/Hz (10 - 300 Hz)

0,005 g/Hz (10 - 300 Hz)

Ne radi

niske frekvencije

0,05 g/Hz (10 - 300 Hz)

0,05 g/Hz (10 - 300 Hz)

Visoka frekvencija

20-500Hz, 4.0G (0 do vrha)

U tabeli su prikazane karakteristike hard diskova jednog od vodećih proizvođača, u jednoj koloni su dati podaci za SATA hard disk serverske klase, u drugoj za konvencionalni SATA hard disk.

Iz tabele možemo vidjeti da se diskovi razlikuju ne samo po karakteristikama performansi, već i po radnim karakteristikama, koje direktno utiču na životni vijek i uspješan rad tvrdog diska. Treba obratiti pažnju na činjenicu da se ovi tvrdi diskovi spolja neznatno razlikuju. Razmislite koje tehnologije i karakteristike vam to omogućavaju:

Ojačana osovina (vreteno) hard diska, kod nekih proizvođača je fiksirana na oba kraja, što smanjuje uticaj spoljašnjih vibracija i doprinosi preciznom pozicioniranju glavne jedinice tokom operacija čitanja i pisanja.

Upotreba posebnih inteligentnih tehnologija koje uzimaju u obzir i linearne i ugaone vibracije, što smanjuje vrijeme pozicioniranja glava i povećava performanse diskova do 60%

Funkcija otklanjanja grešaka u RAID runtime-u - sprečava da čvrsti diskovi ispadnu iz RAID-a, što je karakteristična karakteristika konvencionalnih čvrstih diskova.

Podešavanje visine glava u kombinaciji sa tehnologijom sprečavanja kontakta sa površinom ploča, što dovodi do značajnog povećanja veka trajanja diska.

Širok raspon samodijagnostičkih funkcija koje vam omogućavaju da unaprijed predvidite trenutak kada će tvrdi disk otkazati i upozoriti korisnika na to, što vam omogućava da imate vremena za spremanje informacija na rezervnu disk jedinicu.

Karakteristike koje smanjuju stopu nepopravljivih grešaka čitanja, što povećava pouzdanost hard diska servera u poređenju sa konvencionalnim čvrstim diskovima.

Govoreći o praktičnoj strani problema, sa sigurnošću možemo reći da se specijalizovani hard diskovi u serverima „ponašaju“ mnogo bolje. Tehnička služba prima višestruko manje poziva zbog nestabilnosti rada RAID nizova i kvarova tvrdih diskova. Podrška proizvođača serverskog segmenta hard diskova je mnogo brža od konvencionalnih hard diskova, zbog činjenice da je industrijski sektor prioritet za svakog proizvođača sistema za skladištenje podataka. Uostalom, u njemu se koriste najnaprednije tehnologije koje čuvaju vaše informacije.

Analog SAS diskova:

Tvrdi diskovi kompanije Western Digital VelociRaptor. Ovi uređaji sa 10K RPM opremljeni su SATA 6 Gb/s interfejsom i 64 MB keš memorije. MTBF ovih pogona je 1,4 miliona sati.
Više detalja na web stranici proizvođača www.wd.com

U našoj kompaniji "Status" u Sankt Peterburgu možete naručiti sklop servera baziran na SAS ili analogu SAS hard diskova, možete kupiti ili naručiti SAS hard diskove u Sankt Peterburgu:

  • pozovite +7-812-385-55-66 u Sankt Peterburgu
  • pisite na adresu
  • Ostavite prijavu na našoj web stranici na stranici "Online prijava"

Malo se toga promijenilo u protekle dvije godine:

  • Supermicro odbacuje vlasnički "obrnuti" UIO faktor oblika za kontrolere. Detalji će biti u nastavku.
  • LSI 2108 (SAS2 RAID sa 512MB keš memorije) i LSI 2008 (SAS2 HBA sa opcionom podrškom za RAID) su i dalje u upotrebi. Proizvodi bazirani na ovim čipovima, kako od LSI, tako i od OEM partnera, dobro su otklonjeni i još uvijek su relevantni.
  • Postojali su LSI 2208 (isti SAS2 RAID sa LSI MegaRAID stekom, samo sa dvojezgrenim procesorom i 1024MB keš memorije) i (poboljšana verzija LSI 2008 sa bržim procesorom i podrškom za PCI-E 3.0).

Prijelaz sa UIO na WIO

Kao što se sjećate, UIO ploče su obične PCI-E x8 ploče, kod kojih se cijela baza elemenata nalazi na poleđini, tj. kada je instaliran u lijevom usponu, nalazi se na vrhu. Ovaj faktor forme je bio potreban za instaliranje ploča u najniži slot servera, što je omogućilo postavljanje četiri ploče u lijevi uspon. UIO nije samo faktor oblika ploča za proširenje, već su i kućišta dizajnirana za ugradnju uspona, samih uspona i matičnih ploča posebnog faktora forme, sa izrezom za donji utor za proširenje i utorima za ugradnju uspona.
Ovo rješenje je imalo dva problema. Prvo, nestandardni faktor oblika ekspanzionih ploča ograničavao je izbor klijenta, jer pod faktorom UIO forme, postoji samo nekoliko kontrolera SAS, InfiniBand i Ehternet. Drugo, nema dovoljno PCI-E linija u slotovima za risere - samo 36, od čega ima samo 24 linije za lijevi riser, što je očito nedovoljno za četiri ploče sa PCI-E x8.
Šta je WIO? Isprva se ispostavilo da je moguće postaviti četiri daske u lijevi uspon a da se ne mora "okrenuti sendvič puter", a postojali su i usponci za obične daske (RSC-R2UU-A4E8+). Tada je problem nedostatka linija (sada ih ima 80) riješen korištenjem proreza veće gustine pinova.
UIO uspon RSC-R2UU-UA3E8+
WIO uspon RSC-R2UW-4E8

Rezultati:
  • WIO risers se ne mogu instalirati u UIO matične ploče (npr. X8DTU-F).
  • UIO usponi se ne mogu instalirati u nove WIO ploče.
  • Postoje usponi za WIO (na matičnoj ploči) koji imaju UIO slot za kartice. U slučaju da još uvijek imate UIO kontrolere. Koriste se u platformama pod utičnicom B2 (6027B-URF, 1027B-URF, 6017B-URF).
  • Novi kontroleri u faktoru UIO forme se neće pojaviti. Na primjer, kontroler USAS2LP-H8iR na LSI 2108 čipu će biti posljednji, neće biti LSI 2208 za UIO - samo običan MD2 sa PCI-E x8.

PCI-E kontroleri

Trenutno su relevantne tri varijante: RAID kontroleri zasnovani na LSI 2108/2208 i HBA bazirani na LSI 2308. Postoji i misteriozni SAS2 HBA AOC-SAS2LP-MV8 na Marvel 9480 čipu, ali pišite o njemu zbog njegove egzotičnosti . Većina slučajeva upotrebe internih SAS HBA-ova je skladištenje sa ZFS-om pod FreeBSD-om i raznim vrstama Solarisa. Zbog nepostojanja problema sa podrškom u ovim operativnim sistemima, izbor u 100% slučajeva pada na LSI 2008/2308.
LSI 2108
Pored UIO "shny AOC-USAS2LP-H8iR, koji se spominje u još dva kontrolera, dodani su:

AOC-SAS2LP-H8iR
LSI 2108, SAS2 RAID 0/1/5/6/10/50/60, 512MB keš memorije, 8 internih portova (2x SFF-8087). To je analog LSI 9260-8i kontrolera, ali proizvođača Supermicro, postoje manje razlike u rasporedu ploče, cijena je 40-50 dolara niža od LSI. Podržane su sve dodatne LSI opcije: aktivacija, FastPath i CacheCade 2.0, zaštita keš baterije - LSIiBBU07 i LSIiBBU08 (sada je poželjno koristiti BBU08, ima proširen temperaturni raspon i dolazi sa kablom za daljinsku montažu).
Unatoč pojavi snažnijih kontrolera baziranih na LSI 2208, LSI 2108 je i dalje relevantan zbog smanjenja cijene. Performanse sa konvencionalnim HDD-ovima su dovoljne u svakom scenariju, ograničenje IOPS-a za rad sa SSD-ovima je 150.000, što je više nego dovoljno za većinu budžetskih rješenja.

AOC-SAS2LP-H4iR
LSI 2108, SAS2 RAID 0/1/5/6/10/50/60, 512MB keš memorije, 4 interna + 4 eksterna porta. To je analog LSI 9280-4i4e kontrolera. Pogodan za upotrebu u ekspander kutijama, kao ne morate donositi izlaz iz ekspandera van da povežete dodatne JBOD-ove, ili u 1U slučajevima za 4 diska, ako je potrebno, omogućite mogućnost povećanja broja diskova.Podržava iste BBU-ove i aktivacijske ključeve.
LSI 2208

AOC-S2208L-H8iR
LSI 2208, SAS2 RAID 0/1/5/6/10/50/60, 1024MB keš memorije, 8 internih portova (2 SFF-8087 konektora). To je analog LSI 9271-8i kontrolera. LSI 2208 je daljnji razvoj LSI 2108. Procesor je postao dvojezgreni, što je omogućilo podizanje granice performansi u smislu IOPS "m na 465000. Dodata je podrška za PCI-E 3.0 i povećana na 1GB skladiste.
Kontroler podržava BBU09 zaštitu keša baterije i CacheVault flash zaštitu. Supermicro ih isporučuje pod brojevima dijelova BTR-0022L-LSI00279 i BTR-0024L-LSI00297, ali je lakše kupiti od nas preko LSI prodajnog kanala (drugi dio brojeva dijelova su izvorni LSI brojevi dijelova). Podržani su i ključevi za aktiviranje MegaRAID Advanced Software Options, broj dela: AOC-SAS2-FSPT-ESW (FastPath) i AOCCHCD-PRO2-KEY (CacheCade Pro 2.0).
LSI 2308 (HBA)

AOC-S2308L-L8i i AOC-S2308L-L8e
LSI 2308, SAS2 HBA (sa IR firmverom - RAID 0/1/1E), 8 internih portova (2 SFF-8087 konektora). Ovo je isti kontroler, dolazi sa različitim firmverom. AOC-S2308L-L8e - IT firmver (čisti HBA), AOC-S2308L-L8i - IR firmver (podržava RAID 0/1/1E). Razlika je u tome što L8i može raditi sa IR i IT firmverom, L8e može raditi samo sa IT, firmver u IR je zaključan. To je analog LSI 9207-8 kontrolera i. Razlike u odnosu na LSI 2008: brži čip (800 MHz, kao rezultat - granica IOPS-a je porasla na 650 hiljada), pojavila se podrška za PCI-E 3.0. Primjena: softverski RAID-ovi (ZFS, na primjer), budžetski serveri.
Na osnovu ovog čipa neće biti jeftinih kontrolera sa podrškom za RAID-5 (iMR stack, od gotovih kontrolera - LSI 9240).

Ugrađeni kontroleri

U najnovijim proizvodima (X9 ploče i platforme sa njima), Supermicro označava prisustvo SAS2 kontrolera iz LSI sa brojem "7" u broju dela, broj "3" označava čipset SAS (Intel C600). Jednostavno ne pravi razliku između LSI 2208 i 2308, stoga budite oprezni pri odabiru ploče.
  • Kontroler zasnovan na LSI 2208 zalemljen na matičnim pločama ima maksimalno ograničenje od 16 diskova. Ako dodate 17, jednostavno neće biti otkriveno, a vidjet ćete poruku "PD nije podržan" u MSM logu. To je kompenzirano znatno nižom cijenom. Na primjer, paket "X9DRHi-F + vanjski kontroler LSI 9271-8i" koštat će oko 500 dolara više od X9DRH-7F sa LSI 2008 na ploči. Zaobilaženje ovog ograničenja flešovanjem u LSI 9271 neće raditi - flešovanje drugog SBR bloka, kao u slučaju LSI 2108, ne pomaže.
  • Još jedna karakteristika je nedostatak podrške za CacheVault module, jednostavno nema dovoljno mjesta na pločama za poseban konektor, pa je podržan samo BBU09. Mogućnost instaliranja BBU09 ovisi o korištenom kućištu. Na primjer, LSI 2208 se koristi u blade serverima 7127R-S6, postoji BBU konektor, ali za montiranje samog modula potreban vam je dodatni MCP-640-00068-0N nosač za držač baterije.
  • SAS HBA (LSI 2308) firmver će sada biti potreban, jer u DOS-u na bilo kojoj ploči sa LSI 2308 sas2flash.exe ne počinje sa greškom "Neuspjelo inicijaliziranje PAL-a".

Kontroleri na Twin i FatTwin platformama

Neke 2U Twin 2 platforme dolaze u tri verzije, sa tri tipa kontrolera. Na primjer:
  • 2027TR-HTRF+ - Čipset SATA
  • 2027TR-H70RF+ - LSI 2008
  • 2027TR-H71RF+ - LSI 2108
  • 2027TR-H72RF+ - LSI 2208
Ovakva raznolikost je osigurana činjenicom da su kontroleri smješteni na posebnoj stražnjoj ploči koja se spaja na poseban slot na matičnoj ploči i na stražnju ploču diska.
BPN-ADP-SAS2-H6IR (LSI 2108)


BPN-ADP-S2208L-H6iR (LSI 2208)

BPN-ADP-SAS2-L6i (LSI 2008)

Supermicro xxxBE16/xxxBE26 kućišta

Druga tema koja se direktno odnosi na kontrolore je modernizacija slučajeva sa . Pojavile su se varijante sa dodatnom korpom za dva diska od 2,5" koja se nalaze na zadnjoj strani kućišta. Svrha je namenski disk (ili ogledalo) za učitavanje sistema. Naravno, sistem se može učitati izdvajanjem malog volumena sa drugu grupu diskova ili sa dodatnih diskova fiksiranih unutar kućišta (u 846 slučajeva možete instalirati dodatne pričvršćivače za jedan 3,5" ili dva 2,5" diska), ali ažurirane modifikacije su mnogo praktičnije:




Štaviše, ovi dodatni diskovi ne moraju biti posebno povezani na SATA kontroler čipseta. Koristeći SFF8087->4xSATA kabel, možete se povezati na glavni SAS kontroler preko SAS izlaza ekspandera.
P.S. Nadam se da su informacije bile od pomoći. Imajte na umu da su najpotpunije informacije i tehnička podrška za proizvode Supermicro, LSI, Adaptec by PMC i drugih dobavljača dostupne od True Systema.

RAID 6, 5, 1 i 0 testovi niza sa Hitachi SAS-2 disk jedinicama

Očigledno, prošla su vremena kada je pristojan profesionalni RAID kontroler sa 8 portova koštao prilično impresivan novac. Danas postoje rješenja za Serial Attached SCSI (SAS) sučelje, koja su vrlo atraktivna kako po cijeni i funkcionalnosti, tako i po performansama. O jednom od njih - ova recenzija.

Kontroler LSI MegaRAID SAS 9260-8i

Ranije smo pisali o drugoj generaciji SAS sučelja sa brzinom prijenosa od 6 Gb/s i vrlo jeftinom 8-portnom LSI SAS 9211-8i HBA kontroleru dizajniranom za organiziranje sistema za pohranu ulaznog nivoa zasnovanog na najjednostavnijim SAS i SATA RAID nizovima. pogoni. Model LSI MegaRAID SAS 9260-8i će biti više klase - opremljen je snažnijim procesorom sa hardverskim proračunom nizova nivoa 5, 6, 50 i 60 (ROC tehnologija - RAID On Chip), kao i značajnim količina (512 MB) ugrađene SDRAM memorije za efikasno keširanje podataka. Ovaj kontroler također podržava 6 Gb/s SAS i SATA interfejse, a sam adapter je dizajniran za PCI Express x8 verziju 2.0 sabirnicu (5 Gb/s po traci), što je teoretski skoro dovoljno da zadovolji potrebe 8 brzih SAS-a. luke. I sve to - po maloprodajnoj cijeni od oko 500 dolara, odnosno samo par stotina skuplje od budžetskog LSI SAS 9211-8i. Sam proizvođač, inače, ovo rješenje odnosi na MegaRAID Value Line seriju, odnosno ekonomična rješenja.




LSIMegaRAID SAS9260-8i 8-portni SAS kontroler i njegov SAS2108 procesor sa DDR2 memorijom

LSI SAS 9260-8i ploča je niskog profila (MD2 faktor oblika), opremljena je sa dva interna Mini-SAS 4X konektora (svaki od njih vam omogućava da povežete do 4 SAS drajva direktno ili više putem množitelja portova), dizajnirana je za PCI Express sabirnicu x8 2.0 i podržava RAID nivoe 0, 1, 5, 6, 10, 50 i 60, dinamičku SAS funkcionalnost i još mnogo toga. itd. LSI SAS 9260-8i kontroler se može instalirati u 1U i 2U rack servere (Mid i High-End serveri) iu ATX i Slim-ATX kućištima (za radne stanice). RAID je podržan hardverski - ugrađenim LSI SAS2108 procesorom (powerPC jezgro na 800 MHz), nedovoljno opremljenim sa 512 MB DDR2 800 MHz memorije sa ECC podrškom. LSI obećava brzinu podataka procesora do 2,8 GB/s za čitanje i do 1,8 GB/s za pisanje. Među bogatom funkcionalnošću adaptera, vrijedi istaknuti funkcije Online Capacity Expansion (OCE), Online RAID Level Migration (RLM) (proširivanje volumena i promjena tipa nizova u pokretu), SafeStore Encryption Services i Instant secure brisanje (šifriranje podataka na diskovima i sigurno brisanje podataka), podrška za SSD diskove (SSD Guard tehnologija) i još mnogo toga. itd. Za ovaj kontroler je dostupan opcioni baterijski modul (sa njim maksimalna radna temperatura ne bi trebalo da pređe +44,5 stepeni Celzijusa).

Ključne specifikacije kontrolera LSI SAS 9260-8i

Sučelje sistemaPCI Express x8 2.0 (5 GT/s), Bus Master DMA
Interfejs diskaSAS-2 6Gb/s (podržava SSP, SMP, STP i SATA protokole)
Broj SAS portova8 (2 x4 Mini-SAS SFF8087), podržava do 128 diskova putem množitelja portova
RAID podrškanivoi 0, 1, 5, 6, 10, 50, 60
CPULSI SAS2108 ROC (PowerPC @ 800 MHz)
Ugrađena keš memorija512 MB ECC DDR2 800 MHz
Potrošnja energije, ne više24W (+3,3V i +12V napajanje iz PCIe slota)
Opseg radne/skladišne ​​temperature0…+60 °S / −45…+105 °S
Forma faktor, dimenzijeMD2 niskog profila, 168×64,4 mm
MTBF vrijednost>2 miliona h
Garancija proizvođača3 godine

Tipične primene LSI MegaRAID SAS 9260-8i su sledeće: razne video stanice (video na zahtev, video nadzor, kreiranje i uređivanje videa, medicinske slike), računarstvo visokih performansi i arhive digitalnih podataka, razni serveri (datoteke, web, pošta, baze podataka). Općenito, velika većina zadataka rješava se u malim i srednjim preduzećima.

U bijelo-narandžastoj kutiji sa neozbiljno nasmijanim zubatim damskim licem na "tituli" (očigledno da bi se bolje privući bradati sistem administratori i grubi sistemski graditelji) nalazi se kontrolna ploča, nosači za ugradnju u ATX, Slim-ATX kućišta itd. ., dva kabla sa 4 diska sa Mini-SAS konektorima na jednom kraju i običnim SATA (bez napajanja) na drugom (za povezivanje do 8 drajva na kontroler), kao i CD sa PDF dokumentacijom i drajverima za brojne Windows verzije, Linux (SuSE i RedHat), Solaris i VMware.


LSI MegaRAID SAS 9260-8i paket kontrolera u kutiji (mini kartica MegaRAID Advanced Services Hardware Key dostupna je na poseban zahtjev)

Softverske tehnologije LSI MegaRAID Advanced Services dostupne su za LSI MegaRAID SAS 9260-8i kontroler sa posebnim hardverskim ključem (prodaje se zasebno): MegaRAID Recovery, MegaRAID CacheCade, MegaRAID FastPath, LSI SafeStore Encryption Services (njihovo razmatranje je izvan okvira ovog članka ). Konkretno, u smislu poboljšanja performansi niza tradicionalnih diskova (HDD) koristeći SSD (SSD) dodat u sistem, bit će korisna MegaRAID CacheCade tehnologija, s kojom SSD djeluje kao keš memorija drugog nivoa za HDD niz (analog hibridnog rješenja za HDD), u nekim slučajevima, pruža povećanje performansi diskovnog podsistema do 50 puta. Također je zanimljivo rješenje MegaRAID FastPath, koje smanjuje kašnjenje procesora SAS2108 za I/O operacije (onemogućavanjem optimizacije HDD-a), što vam omogućava da ubrzate niz više SSD-ova povezanih direktno na SAS. 9260-8i portovi.

Pogodnije je konfigurisati, konfigurisati i održavati kontroler i njegove nizove u korporativnom menadžeru u okruženju operativnog sistema (postavke u BIOS Setup meniju samog kontrolera nisu dovoljno bogate - dostupne su samo osnovne funkcije). Konkretno, u menadžeru, u nekoliko klikova mišem, možete organizirati bilo koji niz i postaviti njegove operativne politike (keširanje, itd.) - pogledajte snimke ekrana.




Primeri snimaka ekrana Windows menadžera za konfigurisanje nivoa RAID 5 (gore) i 1 (dole).

Testiranje

Da bismo istražili osnovne performanse LSI MegaRAID SAS 9260-8i (bez hardverskog ključa MegaRAID Advanced Services i srodnih tehnologija), koristili smo pet SAS diskova visokih performansi sa brzinom vretena od 15K o/min i podrškom za SAS-2 interfejs ( 6 Gb / c) - Hitachi Ultrastar 15K600 HUS156030VLS600 kapaciteta 300 GB.


Hitachi Ultrastar 15K600 tvrdi disk bez gornjeg poklopca

To će nam omogućiti da testiramo sve osnovne nivoe nizova - RAID 6, 5, 10, 0 i 1, i to ne samo sa minimalnim brojem diskova za svaki od njih, već i "za rast", odnosno prilikom dodavanja disk na drugi od 4-kanalnih SAS portova ROC čipa. Imajte na umu da junak ovog članka ima pojednostavljeni analog - 4-portni LSI MegaRAID SAS 9260-4i kontroler zasnovan na istoj bazi elemenata. Stoga su naši testovi nizova od 4 diska jednako primjenjivi na njega.

Maksimalna brzina sekvencijalnog čitanja/pisanja za Hitachi HUS156030VLS600 je oko 200 MB/s (pogledajte grafikon). Prosječno vrijeme slučajnog pristupa prilikom čitanja (prema specifikacijama) - 5,4 ms. Ugrađeni bafer - 64 MB.


Hitachi Ultrastar 15K600 HUS156030VLS600 grafikon sekvencijalne brzine čitanja/pisanja

Test sistem je baziran na Intel Xeon 3120 procesoru, Intel P45 matičnoj ploči sa čipsetom i 2 GB DDR2-800 memorije. SAS kontroler je instaliran u PCI Express x16 v2.0 slot. Testovi su obavljeni pod operativnim sistemima Windows XP SP3 Professional i Windows 7 Ultimate SP1 x86 (čiste američke verzije), budući da njihovi serverski kolege (Windows 2003 i 2008) ne dozvoljavaju neke od benčmarkova i skripti koje smo koristili za rad. . Korišteni testovi su AIDA64, ATTO Disk Benchmark 2.46, Intel IOmeter 2006, Intel NAS Performance Toolkit 1.7.1, C'T H2BenchW 4.13/4.16, HD Tach RW 3.0.4.0 i Futuremarkov PCMark0 Vantage. Testovi su obavljeni i na nedodijeljenim volumenima (IOmeter, H2BenchW, AIDA64) i na formatiranim particijama. U potonjem slučaju (za NASPT i PCMark), rezultati su uzeti i za fizički početak niza i za njegovu sredinu (volume nizova sa maksimalnim raspoloživim kapacitetom podijeljene su na dvije jednake logičke particije). To nam omogućava da adekvatnije procijenimo performanse rješenja, budući da najbrži početni dijelovi volumena, na kojima većina pretraživača vrši mjerenje datoteka, često ne odražavaju situaciju na drugim dijelovima diska, koji se također mogu koristiti vrlo aktivno u stvarnom radu.

Svi testovi su obavljeni pet puta i rezultati su prosječni. Detaljnije ćemo pogledati našu ažuriranu metodologiju za procjenu profesionalnih disk rješenja u posebnom članku.

Ostaje da dodamo da smo u ovom testu koristili verziju firmvera kontrolera 12.12.0-0036 i drajvere verziju 4.32.0.32. Omogućeno je keširanje za pisanje i čitanje za sve nizove i diskove. Možda nas je upotreba modernijih firmvera i drajvera spasila od neobičnosti koje smo vidjeli u rezultatima ranih testova istog kontrolera. U našem slučaju ovakvi incidenti nisu uočeni. Međutim, mi takođe ne koristimo skriptu FC-Test 1.0, koja je vrlo sumnjiva u pogledu pouzdanosti rezultata (koju u određenim slučajevima te iste kolege „žele nazvati konfuzijom, kolebljivošću i nepredvidljivošću“) u našem paketu, jer više puta smo primijetili njegov neuspjeh na nekim obrascima datoteka (posebno na skupovima mnogo malih, manje od 100 KB datoteka).

Donji grafikoni pokazuju rezultate za 8 konfiguracija niza:

  1. RAID 0 od 5 diskova;
  2. RAID 0 od 4 diska;
  3. RAID 5 od 5 diskova;
  4. RAID 5 od 4 diska;
  5. RAID 6 od 5 diskova;
  6. RAID 6 od 4 diska;
  7. RAID 1 od 4 diska;
  8. RAID 1 od 2 diska.

RAID 1 niz od četiri diska (pogledajte snimak ekrana iznad) na LSI očigledno znači niz traka + ogledalo, koji se obično naziva RAID 10 (ovo je takođe potvrđeno rezultatima testa).

Rezultati testa

Kako ne bismo preopteretili web stranicu za recenzije bezbrojnim nizom grafikona, ponekad neinformativnih i zamornih (što neke "bijesne kolege" često griješe :)), saželi smo detaljne rezultate nekih testova u sto. Oni koji žele da analiziraju zamršenost naših rezultata (na primjer, da saznaju ponašanje optuženih u najkritičnijim zadacima za sebe) mogu to učiniti sami. Fokusiraćemo se na najvažnije i ključne rezultate testova, kao i na prosječne pokazatelje.

Prvo, pogledajmo rezultate "čisto fizičkih" testova.

Prosečno nasumično vreme pristupa za čitanje na jednom Hitachi Ultrastar 15K600 HUS156030VLS600 disku je 5,5 ms. Međutim, kada ih organizirate u nizove, ovaj indikator se neznatno mijenja: smanjuje se (zbog efikasnog keširanja u LSI SAS9260 kontroleru) za „ogledalo“ nizove i povećava se za sve ostale. Najveći porast (oko 6%) je uočen za nizove nivoa 6, pošto kontroler mora da pristupi najvećem broju diskova u isto vreme (tri za RAID 6, dva za RAID 5 i jedan za RAID 0, pošto pristup u ovaj test se dešava u blokovima od samo 512 bajtova, što je znatno manje od veličine blokova niza sa trakama).

Mnogo je zanimljivija situacija sa slučajnim pristupom nizovima tokom pisanja (blokovi od 512 bajtova). Za jedan disk, ovaj parametar je oko 2,9 ms (bez keširanja u host kontroleru), međutim, u nizovima na LSI SAS9260 kontroleru, vidimo značajno smanjenje ovog indikatora zbog dobrog keširanja u 512 MB SDRAM baferu kontroler. Zanimljivo, najdramatičniji efekat se postiže za RAID 0 nizove (vrijeme slučajnog pristupa tokom upisivanja opada za skoro red veličine u poređenju sa jednim diskom)! Ovo bi nesumnjivo trebalo da ima povoljan efekat na performanse takvih nizova u brojnim serverskim zadacima. Istovremeno, čak i na nizovima sa XOR proračunima (to jest, velikim opterećenjem na SAS2108 procesoru), slučajni pristupi pisanju ne dovode do očiglednog pada performansi - opet zahvaljujući moćnoj keš memoriji kontrolera. Naravno, RAID 6 je ovdje nešto sporiji od RAID-a 5, ali je razlika između njih u suštini beznačajna. U ovom testu sam bio donekle iznenađen ponašanjem jednog „ogledala“, koje je pokazalo najsporiji slučajni pristup prilikom pisanja (možda je to „osobina“ mikrokoda ovog kontrolera).

Linearni (sekvencijalni) grafovi brzine čitanja i pisanja (u velikim blokovima) za sve nizove nemaju nikakve posebnosti (gotovo su identični za čitanje i pisanje, pod uslovom da je omogućeno keširanje pisanja kontrolera) i svi su skalirani prema broju diskovi koji paralelno učestvuju u "korisnom" procesu. Odnosno, za RAID 0 diskove sa pet diskova, brzina se "petostruko povećava" u odnosu na jedan disk (dostiže 1 GB / s!), za RAID 5 sa pet diskova se "četvorostruči", za RAID 6 - "utrostručuje" (utrostručuje , naravno :)), za RAID 1 od četiri diska, udvostručuje se (bez "y2eggs"! :)), a za jednostavno ogledalo, duplira grafove jednog diska. Ovaj obrazac je jasno vidljiv, posebno u smislu maksimalne brzine čitanja i pisanja stvarno velikih (256 MB) datoteka u velikim blokovima (od 256 KB do 2 MB), što ćemo ilustrirati dijagramom ATTO Disk Benchmark-a 2.46 test (rezultati ovog testa za Windows 7 i XP su skoro identični).

Ovdje je samo slučaj čitanja datoteka na RAID 6 nizu od 5 diskova neočekivano ispao iz opće slike (rezultati su više puta provjeravani). Međutim, za čitanje u blokovima od 64 KB, brzina ovog niza dobija svojih 600 MB/s. Zato otpišemo ovu činjenicu kao "karakteristiku" trenutnog firmvera. Također napominjemo da je pri pisanju stvarnih datoteka brzina nešto veća zbog keširanja u velikom baferu kontrolera, a razlika s čitanjem je uočljivija što je stvarna linearna brzina niza manja.

Što se tiče brzine sučelja, koja se obično mjeri u smislu upisivanja i čitanja međumemorije (višestruki pristupi istoj adresi volumena diska), ovdje moramo navesti da se pokazalo da je ista za skoro sve nizove zbog uključivanja keš kontrolera za ove nizove (vidi .tabelu). Dakle, performanse snimanja za sve učesnike našeg testa iznosile su približno 2430 MB/s. Imajte na umu da PCI Express x8 2.0 sabirnica teoretski daje brzinu od 40 Gb / s ili 5 Gb / s, međutim, prema korisnim podacima, teorijska granica je niža - 4 Gb / s, što znači da je u našem slučaju kontroler zaista radio prema verziji 2.0 PCIe magistrale. Dakle, 2,4 GB/s koje smo izmjerili je, očito, stvarni propusni opseg ugrađene memorije kontrolera (DDR2-800 memorija sa 32-bitnom sabirnicom podataka, što se može vidjeti iz konfiguracije ECC čipova na ploči , teoretski daje do 3,2 GB/s). Prilikom čitanja nizova, keširanje nije tako "sveobuhvatno" kao kod pisanja, stoga je brzina "interfejsa" mjerena u uslužnim programima obično niža od brzine čitanja keš memorije kontrolera (tipično 2,1 GB/s za nizove nivoa 5 i 6) , a u nekim slučajevima "pada" na brzinu čitanja međuspremnika samih tvrdih diskova (oko 400 MB/s za jedan čvrsti disk, pogledajte grafikon iznad), pomnoženo brojem "uzastopnih" diskovi u nizu (to su upravo slučajevi RAID-a 0 i 1 iz naših rezultata).

Pa, "fiziku" smo shvatili u prvom aproksimaciji, vrijeme je da pređemo na "liriku", odnosno na testove "pravih" aplikacija. Usput, bit će zanimljivo saznati da li se performanse nizova skaliraju pri izvršavanju složenih korisničkih zadataka jednako linearno kao što se skaliraju prilikom čitanja i pisanja velikih datoteka (pogledajte dijagram ATTO testa malo više). Radoznali čitatelj, nadam se, već je mogao predvidjeti odgovor na ovo pitanje.

Kao "salatu" našem "lirskom" dijelu obroka, poslužit ćemo desktop testove diskova iz PCMark Vantage i PCMark05 paketa (pod Windows 7 i XP, respektivno), kao i sličan test aplikacije "track" iz paketa H2BenchW 4.13 autoritativnog njemačkog časopisa C'T. Da, ovi testovi su prvobitno dizajnirani za procenu hard diskova za desktop računare i niske cene radnih stanica. Oni oponašaju izvođenje tipičnih zadataka naprednog personalnog računara na diskovima – rad sa videom, audio, photoshop, antivirus, igrice, swap fajlove, instaliranje aplikacija, kopiranje i pisanje fajlova, itd. Stoga njihove rezultate ne treba uzimati u Kontekst ovog članka.kao konačnu istinu - uostalom, drugi zadaci se češće obavljaju na višediskovnim nizovima. Ipak, u svjetlu činjenice da sam proizvođač pozicionira ovaj RAID kontroler, uključujući i za relativno jeftina rješenja, takva klasa testnih zadataka je sasvim sposobna okarakterizirati određeni udio aplikacija koje će se stvarno pokrenuti na takvim nizovima (isti rad sa video zapisima, profesionalnom obradom grafike, zamjenom OS-a i aplikacija koje zahtijevaju velike resurse, kopiranjem datoteka, antivirusom itd.). Stoga ne treba potcijeniti važnost ova tri sveobuhvatna mjerila u našem cjelokupnom paketu.

U popularnom PCMark Vantageu, u proseku (pogledajte dijagram), primećujemo veoma upečatljivu činjenicu - performanse ovog rešenja sa više diskova gotovo da ne zavise od tipa korišćenog niza! Inače, u određenim granicama, ovaj zaključak važi i za sve pojedinačne testne trake (tipove zadataka) uključene u pakete PCMark Vantage i PCMark05 (pogledajte tabelu za detalje). To može značiti ili da algoritmi firmvera kontrolera (sa keš memorijom i diskovima) gotovo ne uzimaju u obzir specifičnosti rada aplikacija ovog tipa, ili da se glavni dio ovih zadataka obavlja u keš memoriji samog kontrolera. (i najvjerovatnije primjećujemo kombinaciju ova dva faktora). Međutim, u potonjem slučaju (to jest, izvršavanje staza u velikoj mjeri u kešu RAID kontrolera), prosječne performanse rješenja nisu tako visoke - uporedite ove podatke s rezultatima testa nekog "desktopa" ("chipset") RAID 0 nizovi sa 4 diska i 5 i jeftini pojedinačni SSD-ovi na SATA 3 Gb/s magistrali (pogledajte recenziju). Ako su, u poređenju sa jednostavnim "čipsetom" RAID 0 sa 4 diska (i na duplo sporijim čvrstim diskovima od Hitachi Ultrastar 15K600 koji se ovde koristi), LSI SAS9260 nizovi manje od dva puta brži u PCMark testovima, onda relativno ni najbrži " budžet" jedan SSD, svi oni definitivno gube! Rezultati PCMark05 testa diska daju sličnu sliku (pogledajte tabelu; nema smisla crtati poseban dijagram za njih).

Sličnu sliku (sa rezervama) za nizove bazirane na LSI SAS9260 možemo vidjeti u drugom "track" benčmarku aplikacije - C'T H2BenchW 4.13. Ovdje su samo dva najsporija (po strukturi) niza (RAID 6 od 4 diska i jednostavno „ogledalo“) uočljivo iza svih ostalih nizova, čije performanse, očito, dostižu taj „dovoljan“ nivo kada više ne budu počiva na diskovnom podsistemu, iu efikasnosti SAS2108 procesora sa kešom kontrolera za ove složene pristupne sekvence. I u tom kontekstu, možemo biti zadovoljni što performanse nizova baziranih na LSI SAS9260 u zadacima ove klase gotovo ne zavise od tipa korištenog niza (RAID 0, 5, 6 ili 10), što vam omogućava da koristite više pouzdana rješenja bez ugrožavanja konačnih performansi.

Međutim, "nije sve Maslenica" - ako promijenimo testove i provjerimo rad nizova sa stvarnim datotekama na NTFS sistemu datoteka, slika će se dramatično promijeniti. Dakle, u Intel NASPT 1.7 testu, čiji su mnogi „preinstalirani“ scenariji prilično direktno povezani sa zadacima tipičnim za računare opremljene LSI MegaRAID SAS9260-8i kontrolerom, raspored niza je sličan onome što smo uočili u ATTO testu. prilikom čitanja i pisanja velikih datoteka - brzina raste proporcionalno kako raste "linearna" brzina nizova.

Na ovom grafikonu prikazujemo prosjek svih NASPT testova i obrazaca, dok u tabeli možete vidjeti detaljne rezultate. Dozvolite mi da naglasim da smo radili NASPT i pod Windows XP (to inače rade brojni pretraživači) i pod Windowsom 7 (što se zbog određenih karakteristika ovog testa radi rjeđe). Činjenica je da Seven (i njegov "veliki brat" Windows 2008 Server) koriste agresivnije algoritme sopstvenog keširanja kada rade sa fajlovima nego XP. Osim toga, kopiranje velikih datoteka u "Sedam" događa se uglavnom u blokovima od 1 MB (XP, u pravilu, radi u blokovima od 64 KB). To dovodi do činjenice da se rezultati Intel NASPT testa "fajl" značajno razlikuju u Windows XP i Windows 7 - u potonjem su mnogo veći, ponekad i više od dva puta! Inače, uporedili smo rezultate NASPT-a (i drugih testova našeg paketa) pod Windowsom 7 sa 1 GB i 2 GB instalirane sistemske memorije (postoje informacije da sa velikim količinama sistemske memorije, keširanje diskovnih operacija u Windows 7 raste i NASPT rezultati postaju još veći), međutim, unutar greške mjerenja nismo našli nikakvu razliku.

Ostavljamo debatu o tome koji je OS (u smislu politika keširanja, itd.) „bolji“ za testiranje diskova i RAID kontrolera za nit diskusije u ovom članku. Smatramo da je potrebno testirati pogone i rješenja zasnovana na njima u uvjetima koji su što bliži stvarnim situacijama njihovog rada. Zbog toga su, po našem mišljenju, rezultati koje smo dobili za oba operativna sistema jednake vrijednosti.

Ali da se vratimo na NASPT tabelu prosečnih performansi. Kao što vidite, razlika između najbržeg i najsporijeg niza koje smo ovdje testirali je u prosjeku nešto manja od tri puta. Ovo, naravno, nije peterostruki jaz, kao kod čitanja i pisanja velikih datoteka, ali je takođe vrlo uočljiv. Nizovi su zapravo locirani proporcionalno njihovoj linearnoj brzini, a to ne može a da ne raduje: to znači da procesor LSI SAS2108 obrađuje podatke prilično brzo, gotovo bez stvaranja uskih grla kada nizovi nivoa 5 i 6 aktivno rade.

Pošteno radi, treba napomenuti da NASPT takođe ima obrasce (2 od 12) u kojima se uočava ista slika kao u PCMarku sa H2BenchW, odnosno da su performanse svih testiranih nizova skoro iste! To su Office Productivity i Dir Copy to NAS (pogledajte tabelu). Ovo je posebno vidljivo pod Windows 7, iako je za Windows XP trend "konvergencije" očigledan (u poređenju sa drugim obrascima). Međutim, u PCMarku sa H2BenchW postoje obrasci u kojima postoji povećanje performansi niza proporcionalno njihovoj linearnoj brzini. Dakle, nije sve tako jednostavno i nedvosmisleno kako bi se nekima svidjelo.

U početku sam želio razgovarati o dijagramu sa ukupnim performansama nizova, u prosjeku na svim testovima aplikacije (PCMark + H2BenchW + NASPT + ATTO), odnosno ovom:

Međutim, ovdje se nema šta puno raspravljati: vidimo da ponašanje nizova na LSI SAS9260 kontroleru u testovima koji oponašaju rad određenih aplikacija može dramatično varirati ovisno o korištenim scenarijima. Stoga je bolje izvući zaključke o prednostima određene konfiguracije na osnovu zadataka koje ćete obavljati u isto vrijeme. I još jedan profesionalni test može nam značajno pomoći u tome - sintetički obrasci za IOmeter, emulirajući ovo ili ono opterećenje na sistemu za pohranu podataka.

Testovi u IOmeteru

U ovom slučaju ćemo izostaviti raspravu o brojnim šablonima koji pažljivo mjere brzinu rada u zavisnosti od veličine pristupnog bloka, procenta upisa, procenta slučajnih pristupa itd. Ovo je, zapravo, čista sintetika, pruža malo korisnog praktično informacije i od interesa prilično čisto teoretski. Na kraju krajeva, već smo gore razjasnili glavne praktične tačke u vezi sa „fizikom“. Važnije nam je da se fokusiramo na obrasce koji oponašaju pravi rad - servere raznih tipova, kao i operacije sa datotekama.

Da bismo emulirali servere kao što su File Server, Web Server i DataBase (poslužitelj baze podataka), koristili smo istoimene i dobro poznate obrasce predložene u našem Intel time i StorageReview.com. Za sve slučajeve testirali smo nizove sa dubinom reda naredbi (QD) od 1 do 256 sa korakom od 2.

U obrascu baze podataka, koji koristi nasumične pristupe disku u blokovima od 8 KB unutar čitavog niza, može se uočiti značajna prednost nizova bez parnosti (tj. RAID 0 i 1) sa dubinom reda naredbi od 4 ili više, dok svi nizovi provjereni paritetom (RAID 5 i 6) pokazuju vrlo slične performanse (uprkos dvostrukoj razlici između njih u brzini linearnog pristupa). Situacija se lako objašnjava: svi nizovi sa paritetom su pokazali slične vrijednosti u testovima za prosječno vrijeme slučajnog pristupa (pogledajte dijagram iznad), a ovaj parametar uglavnom određuje performanse u ovom testu. Zanimljivo je da se performanse svih nizova povećavaju skoro linearno sa povećanjem dubine reda naredbi do 128, a samo pri QD=256, u nekim slučajevima, možete vidjeti nagoveštaj zasićenja. Maksimalne performanse nizova s ​​paritetom na QD=256 bile su oko 1100 IOps (operacija u sekundi), odnosno LSI SAS2108 procesor troši manje od 1 ms da obradi jedan dio podataka od 8 KB (oko 10 miliona jednobajtnih XOR-a). operacija u sekundi za RAID 6; naravno, procesor paralelno obavlja i druge I/O i keš zadatke).

U obrascu servera datoteka, koji koristi blokove različitih veličina za nasumične pristupe za čitanje i upisivanje nizu unutar cijelog volumena, uočavamo sliku sličnu DataBase, s tom razlikom što su ovdje nizovi od pet diskova s ​​paritetom (RAID 5 i 6) primetno nadmašuju svoje kolege sa 4 diska i istovremeno pokazuju skoro identične performanse (oko 1200 IOps pri QD=256)! Očigledno, dodavanje petog pogona drugom od dva 4-lane SAS porta na kontroleru na neki način optimizira računarsko opterećenje procesora (zbog I/O operacija?). Možda bi bilo vredno uporediti nizove od 4 diska u smislu brzine kada su diskovi povezani u parovima na različite Mini-SAS konektore kontrolera kako bi se identifikovala optimalna konfiguracija za organizovanje nizova na LSI SAS9260, ali to je zadatak za drugi članak.

U obrascu web servera, gdje, prema namjeri njegovih kreatora, ne postoje operacije pisanja na disk kao klasa (a samim tim i proračun XOR funkcija za pisanje), slika postaje još zanimljivija. Činjenica je da sva tri niza od pet diskova iz našeg seta (RAID 0, 5 i 6) pokazuju identične performanse i pored primetne razlike između njih u pogledu linearnog čitanja i računanja pariteta! Inače, ista tri niza, ali od 4 diska, takođe su identična brzinom jedan drugom! I samo RAID 1 (i 10) ispada iz slike. Zašto se to dešava, teško je procijeniti. Moguće je da kontroler ima vrlo efikasne algoritme za odabir "dobrih diskova" (odnosno onih od pet ili četiri diska sa kojih prvi dolaze potrebni podaci), što u slučaju RAID 5 i 6 povećava vjerovatnoću pristizanja podataka. sa ploča ranije, pripremajući procesor unapred za neophodne proračune (mislite na duboki red komandi i veliki DDR2-800 bafer). A ovo u konačnici može nadoknaditi kašnjenje povezano s XOR proračunima i izjednačiti ih u “slučajnosti” sa “jednostavnim” RAID-om 0. U svakom slučaju, LSI SAS9260 kontroler može se samo pohvaliti zbog svojih izuzetno visokih rezultata (oko 1700 IOps za 5- nizovi diskova sa QD=256) u obrascu Web servera za nizove sa paritetom. Nažalost, problem je bio veoma loš učinak "ogledala" sa dva diska u svim ovim obrascima servera.

Šablon Web servera odražava naš vlastiti obrazac, koji emulira nasumično čitanje malih (64 KB) datoteka unutar cijelog prostora niza.

Opet, rezultati su kombinovani u grupe - svi nizovi od 5 diskova su identični jedni drugima u pogledu brzine i vodeće u našoj "trci", RAID 0, 5 i 6 sa 4 diska se takođe ne mogu razlikovati jedan od drugog u smislu performanse, a iz opšte mase ispadaju samo “DSLR-ovi” (usput rečeno, “ogledalo” sa 4 diska, odnosno RAID 10 je brži od svih ostalih nizova sa 4 diska – očigledno zbog istog “odabira dobrog disk" algoritam). Naglašavamo da ovi obrasci vrijede samo za veliku dubinu reda naredbi, dok kod malog reda (QD=1-2) situacija i lideri mogu biti potpuno drugačiji.

Sve se menja kada serveri rade sa velikim fajlovima. U uslovima savremenih "težih" sadržaja i novih "optimizovanih" operativnih sistema kao što su Windows 7, 2008 Server itd. rad sa megabajtnim fajlovima i blokovima podataka od 1 MB postaje sve važniji. U ovoj situaciji, naš novi obrazac, koji emulira nasumično čitanje datoteka od 1 MB unutar cijelog diska (detalji novih obrazaca bit će opisani u posebnom članku o metodologiji), dobro nam dolazi kako bi se potpunije procijenio server potencijal LSI SAS9260 kontrolera.

Kao što vidite, "ogledalo" sa 4 diska ovdje više nikome ne ostavlja nadu za vodstvo, jasno dominirajući u bilo kojem redoslijedu komandi. Njegove performanse takođe prvo raste linearno sa dubinom reda komandi, ali sa QD=16 za RAID 1, zasićuje (oko 200 MB/s). Malo "kasnije" (na QD=32) dolazi do "zasićenja" performansi kod nizova koji su sporiji u ovom testu, među kojima se "srebro" i "bronza" moraju dati RAID-u 0, a nizovi sa paritetom ispadaju kao biti autsajderi, izgubiti čak i prije briljantnog RAID-a 1 od dva diska, što se pokazalo neočekivano dobrim. To nas navodi na zaključak da je čak i pri čitanju XOR računarsko opterećenje na procesoru LSI SAS2108 pri radu s velikim datotekama i blokovima (nasumično raspoređenim) za njega veoma opterećujuće, a za RAID 6, gdje se zapravo udvostručuje, ponekad čak i pretjerano - performanse rješenja jedva prelaze 100 MB/s, odnosno 6-8 puta niže nego kod linearnog čitanja! Ovdje je očigledno isplativije koristiti "pretjerani" RAID 10.

Kada slučajno upišete male datoteke, slika je opet upadljivo drugačija od one koju smo vidjeli ranije.

Činjenica je da ovdje performanse nizova praktički ne ovise o dubini reda naredbi (očigledno, utiče ogromna keš memorija LSI SAS9260 kontrolera i prilično velika keš memorija samih tvrdih diskova), ali se dramatično mijenja s tipom od niza! Neosporni lideri su ovde "jednostavni" za RAID 0 procesor, i "bronzani" sa više nego dvostrukim gubitkom od lidera - u RAID 10. Svi nizovi sa paritetom formirali su veoma blisku jednu grupu sa SLR-om sa dva diska (detalji na njima su dati u posebnom dijagramu ispod ), tri puta gubi od lidera. Da, ovo je definitivno veliko opterećenje za procesor kontrolera. Međutim, iskreno govoreći, nisam očekivao takav "neuspjeh" od SAS2108. Ponekad čak i meki RAID 5 na SATA kontroleru "čipseta" (sa keširanjem Windows alati i izračunavanje pomoću centralnog procesora računara) može raditi brže ... Međutim, kontroler i dalje stabilno daje „svojih“ 440-500 IOps - uporedite ovo sa dijagramom o prosječnom vremenu pristupa prilikom pisanja na početku odjeljka rezultata .

Prebacivanje na nasumično pisanje velikih datoteka od 1 MB svaki dovodi do povećanja pokazatelja apsolutne brzine (za RAID 0 - gotovo do vrijednosti za nasumično čitanje takvih datoteka, odnosno 180-190 MB / s) , ali ukupna slika ostaje gotovo ista - nizovi sa paritetom mnogo puta sporiji od RAID 0.

Slika za RAID 10 je radoznala - njegove performanse opadaju sa povećanjem dubine reda komandi, iako ne mnogo. Za druge nizove nema takvog efekta. „Ogledalo“ sa dva diska i ovde izgleda skromno.

Pogledajmo sada obrasce u kojima se datoteke čitaju i upisuju na disk u jednakom broju. Takva opterećenja su tipična, posebno, za neke video servere ili tokom aktivnog kopiranja/dupliciranja/bekapa datoteka unutar istog niza, kao iu slučaju defragmentacije.

Prvo - fajlovi od 64 KB nasumično u nizu.

Ovdje je očigledna neka sličnost sa rezultatima DataBase uzorka, iako su apsolutne brzine nizova tri puta veće, a čak i sa QD=256, već je primjetno određeno zasićenje performansi. Veći (u poređenju sa uzorkom baze podataka) procenat operacija pisanja u ovom slučaju dovodi do činjenice da nizovi sa paritetom i "ogledalo" sa dva diska postaju očigledni autsajderi, značajno inferiorniji u brzini u odnosu na RAID 0 i 10 nizove.

Prilikom prelaska na datoteke od 1 MB, ovaj obrazac općenito ostaje, iako se apsolutne brzine otprilike trostruko povećavaju, a RAID 10 postaje brz kao traka od 4 diska, što je dobra vijest.

Posljednji obrazac u ovom članku će biti slučaj sekvencijalnog (za razliku od nasumičnog) čitanja i pisanja velikih datoteka.

I ovdje već mnogi nizovi uspijevaju ubrzati do vrlo pristojnih brzina u području od 300 MB / s. I iako je jaz između lidera (RAID 0) i autsajdera (RAID 1 sa dva diska) i dalje više nego dvostruki (imajte na umu da je ovaj jaz petostruki za linearno čitanje ili upisivanje!), RAID 5, koji je među prva tri, a ostali XOR nizovi koji su se povukli, možda nisu ohrabrujući. Uostalom, sudeći po listi aplikacija ovog kontrolera, koju daje sam LSI (pogledajte početak članka), mnogi ciljni zadaci će koristiti ovu specifičnu prirodu pristupa nizu. I svakako vredi razmisliti.

U zaključku ću dati konačni dijagram u kojem su usrednjeni indikatori svih gore navedenih IOmeter test obrazaca (geometrijski po svim obrascima i redovima komandi, bez težinskih koeficijenata). Zanimljivo je da ako se usrednjavanje ovih rezultata unutar svakog obrasca izvrši aritmetički sa težinskim koeficijentima od 0,8, 0,6, 0,4 i 0,2 za redove komandi 32, 64, 128 i 256, respektivno (koja je konvencionalno dubina reda komandi u ukupni rad pogona), tada će se konačni (za sve obrasce) normalizirani indeks performansi niza unutar 1% podudarati sa geometrijskom sredinom.

Dakle, prosječna "bolnička temperatura" u našim obrascima za IOmeter test pokazuje da nema izlaza iz "fizike s matematikom" - očito prednjače RAID 0 i 10. Za nizove sa paritetom, čudo se nije dogodilo - iako LSI SAS2108 procesor u nekim slučajevima pokazuje pristojne performanse, generalno gledano, ne može da "dostigne" takve nizove do nivoa jednostavne "trake". Istovremeno, zanimljivo je da se konfiguracije sa 5 diskova jasno dodaju u odnosu na konfiguracije sa 4 diska. Konkretno, RAID 6 sa 5 diskova je nedvosmisleno brži od RAID 5 sa 4 diska, iako su u smislu "fizike" (vreme nasumičnog pristupa i linearna brzina pristupa) zapravo identični. „Ogledalo“ sa dva diska je takođe bilo razočaravajuće (u proseku je ekvivalentno RAID 6 sa 4 diska, iako dva XOR izračunavanja po bitu podataka nisu potrebna za ogledalo). Međutim, jednostavno „ogledalo“ očigledno nije ciljni niz za dovoljno moćan SAS kontroler sa 8 portova sa velikom keš memorijom i moćnim procesorom „na ploči“. :)

Informacije o cijeni

LSI MegaRAID SAS 9260-8i 8-port SAS kontroler sa kompletnim setom nudi se po cijeni od oko 500 dolara, što se može smatrati prilično atraktivnom. Njegov pojednostavljeni pandan sa 4 porta je još jeftiniji. Tačnija trenutna prosječna maloprodajna cijena uređaja u Moskvi, relevantna u trenutku kada čitate ovaj članak:

LSI SAS 9260-8iLSI SAS 9260-4i
$571() $386()

Zaključak

Sumirajući gore rečeno, možemo zaključiti da nećemo riskirati da damo objedinjene preporuke „za sve“ na 8-portnom LSI MegaRAID SAS9260-8i kontroleru. Svako treba da izvuče svoje zaključke o potrebi njegovog korišćenja i konfigurisanja određenih nizova uz njegovu pomoć – striktno na osnovu klase zadataka koji treba da se pokrenu. Činjenica je da u nekim slučajevima (na nekim zadacima) ovo jeftino "megačudovište" može pokazati izvanredne performanse čak i na nizovima sa dvostrukim paritetom (RAID 6 i 60), ali u drugim situacijama je brzina njegovog RAID 5 i 6 jasno vidljiva. ostavlja mnogo da se poželi.. A jedini spas (skoro univerzalan) bit će samo RAID 10 niz, koji se sa gotovo istim uspjehom može organizirati na jeftinijim kontrolerima. Međutim, često se zahvaljujući procesoru i keš memoriji SAS9260-8i RAID 10 niz ovdje ponaša ništa sporije od trake istog broja diskova, istovremeno osiguravajući visoku pouzdanost rješenja. Ali ono što biste svakako trebali izbjegavati sa SAS9260-8i je "reflex" sa dva diska i RAID 6 i 5 sa 4 diska - ovo su očigledno neoptimalne konfiguracije za ovaj kontroler.

Zahvaljujući Hitachi Global Storage Technologies
za čvrste diskove koji su obezbeđeni za testiranje.

mob_info