Inilabas ng Jim Keller na pinamunuan ng Chip Company na si TenStorrent ang susunod na henerasyon na wormhole processor para sa mga workload ng AI, na inaasahan na mag-alok ng mahusay na pagganap sa isang abot-kayang presyo.Ang kumpanya ay kasalukuyang nag-aalok ng dalawang karagdagang mga card ng PCIe na maaaring mapaunlakan ang isa o dalawang mga processors ng wormhole, pati na rin ang TT-loudbox at TT-Quietbox workstations para sa mga developer ng software. Ang lahat ng mga anunsyo ngayon ay naglalayong sa mga developer, hindi ang mga gumagamit ng mga wormhole board para sa mga komersyal na workload.
"Ito ay palaging nagbibigay-kasiyahan upang makakuha ng higit pa sa aming mga produkto sa mga kamay ng mga developer. Ang paglabas ng mga sistema ng pag-unlad gamit ang aming mga wormhole ™ cards ay makakatulong sa mga developer na masukat at bumuo ng multi-chip AI software," sabi ni Jim Keller, CEO ng TenStorrent.Bilang karagdagan sa paglulunsad na ito, nasasabik kaming makita ang pag-unlad na ginagawa namin gamit ang tape out at power-up ng aming pangalawang henerasyon na produkto, Blackhole. "
Ang bawat processor ng wormhole ay naglalaman ng 72 tensix cores (lima sa kung saan sumusuporta sa mga cores ng RISC-V sa iba't ibang mga format ng data) at 108 MB ng SRAM, na naghahatid ng 262 FP8 TFLOPS sa 1 GHz na may isang thermal design power ng 160W. Ang single-chip wormhole N150 card ay nilagyan ng 12 GB GDDR6 na memorya ng video at may bandwidth na 288 GB/s.
Nagbibigay ang mga processors ng wormhole ng kakayahang umangkop upang matugunan ang magkakaibang mga pangangailangan ng mga karga sa trabaho. Sa isang karaniwang pag -setup ng workstation na may apat na wormhole N300 cards, ang mga processors ay maaaring pagsamahin sa isang solong yunit na lilitaw sa software bilang isang pinag -isang, malawak na network ng tensix core. Ang pagsasaayos na ito ay nagbibigay -daan sa accelerator na hawakan ang parehong workload, split sa pagitan ng apat na mga developer o tumakbo hanggang sa walong magkakaibang mga modelo ng AI nang sabay -sabay. Ang isang pangunahing tampok ng scalability na ito ay maaari itong tumakbo nang lokal nang hindi nangangailangan ng virtualization. Sa isang kapaligiran ng data center, ang mga processors ng wormhole ay gagamit ng PCIe para sa pagpapalawak sa loob ng makina, o Ethernet para sa panlabas na pagpapalawak.
Sa mga tuntunin ng pagganap, ang single-chip wormhole N150 card (72 tensix cores, 1 GHz frequency, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwidth) nakamit ang 262 fp8 tflops sa 160W, habang ang dual-chip wormhole n300 board (128 Tensix cores, 1 GHz Frequency, 192 MB SRAM,, 128 Tensix Cores, 1 GHz Frequency, 192 MB SRAM, Ang pinagsama -samang 24 GB GDDR6, 576 GB/s bandwidth) ay naghahatid ng hanggang sa 466 FP8 TFLOPS sa 300W.
Upang mailagay ang 300W ng 466 fp8 tflops sa konteksto, ihahambing namin ito sa kung ano ang inaalok ng pinuno ng merkado ng AI na NVIDIA na ito sa thermal design power. Ang NVIDIA's A100 ay hindi sumusuporta sa FP8, ngunit sinusuportahan nito ang INT8, na may rurok na pagganap ng 624 tops (1,248 tops kapag kalat). Sa paghahambing, ang H100 ng NVIDIA ay sumusuporta sa FP8 at umabot sa pagganap ng rurok na 1,670 tflops sa 300W (3,341 tflops sa kalat), na kung saan ay makabuluhang naiiba sa wormhole N300 ng TEMSTORRENT.
Gayunpaman, mayroong isang pangunahing problema. Ang Wormhole N150 ni TenStorrent ay nagretiro para sa $ 999, habang ang N300 ay nagbebenta ng $ 1,399. Sa pamamagitan ng paghahambing, ang isang solong NVIDIA H100 graphics card ay nagtitinda ng $ 30,000, depende sa dami. Siyempre, hindi namin alam kung ang apat o walong wormhole processors ay maaaring maihatid ang pagganap ng isang solong H300, ngunit ang kanilang mga TDP ay 600W at 1200W ayon sa pagkakabanggit.
Bilang karagdagan sa mga kard, nag-aalok ang TenStorrent ng mga pre-built workstations para sa mga developer, kabilang ang 4 N300 card sa mas abot-kayang Xeon-based na TT-Loudbox na may aktibong paglamig, at ang advanced na TT-Quietbox na may EPYC-based Xiaolong) likidong pag-function ng paglamig).
Oras ng Mag-post: Jul-29-2024