Ang kumpanya ng chip na pinamumunuan ni Jim Keller na Tenstorrent ay naglabas ng kanyang susunod na henerasyong Wormhole processor para sa mga AI workload, na inaasahan nitong mag-aalok ng magandang performance sa abot-kayang presyo.Ang kumpanya ay kasalukuyang nag-aalok ng dalawang karagdagang PCIe card na maaaring tumanggap ng isa o dalawang Wormhole processor, pati na rin ang TT-LoudBox at TT-QuietBox workstation para sa mga software developer. Ang lahat ng mga anunsyo ngayon ay naglalayong sa mga developer, hindi sa mga gumagamit ng mga Wormhole board para sa mga komersyal na workload.
“Laging nakakatuwang makuha ang higit pa sa aming mga produkto sa mga kamay ng mga developer. Ang mga release ng development system gamit ang aming Wormhole™ card ay makakatulong sa mga developer na sukatin at bumuo ng multi-chip AI software,” sabi ni Jim Keller, CEO ng Tenstorrent.Bilang karagdagan sa paglulunsad na ito, nasasabik kaming makita ang pag-unlad na ginagawa namin gamit ang tape out at power-up ng aming pangalawang henerasyong produkto, Blackhole.
Ang bawat Wormhole processor ay naglalaman ng 72 Tensix core (lima sa mga ito ay sumusuporta sa RISC-V core sa iba't ibang format ng data) at 108 MB ng SRAM, na naghahatid ng 262 FP8 TFLOPS sa 1 GHz na may thermal design power na 160W. Ang single-chip Wormhole n150 card ay nilagyan ng 12 GB GDDR6 video memory at may bandwidth na 288 GB/s.
Nagbibigay ang mga wormhole processor ng flexible scalability upang matugunan ang magkakaibang pangangailangan ng mga workload. Sa isang karaniwang setup ng workstation na may apat na Wormhole n300 card, ang mga processor ay maaaring pagsamahin sa isang unit na lumilitaw sa software bilang isang pinag-isang, malawak na Tensix core network. Binibigyang-daan ng configuration na ito ang accelerator na pangasiwaan ang parehong workload, hatiin sa pagitan ng apat na developer o magpatakbo ng hanggang walong magkakaibang modelo ng AI nang sabay-sabay. Ang isang pangunahing tampok ng scalability na ito ay maaari itong tumakbo nang lokal nang hindi nangangailangan ng virtualization. Sa kapaligiran ng data center, gagamitin ng mga Wormhole processor ang PCIe para sa pagpapalawak sa loob ng makina, o Ethernet para sa panlabas na pagpapalawak.
Sa mga tuntunin ng pagganap, ang single-chip Wormhole n150 card ng Tenstorrent (72 Tensix core, 1 GHz frequency, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwidth) ay nakakuha ng 262 FP8 TFLOPS sa 160W, habang ang dual-chip Wormhole n300 board (128 Tensix core, 1 GHz frequency, 192 MB SRAM, pinagsama-samang 24 GB GDDR6, 576 GB/s bandwidth) ay naghahatid ng hanggang 466 FP8 TFLOPS sa 300W.
Upang ilagay ang 300W ng 466 FP8 TFLOPS sa konteksto, ihahambing namin ito sa kung ano ang inaalok ng AI market leader na Nvidia sa thermal design power na ito. Hindi sinusuportahan ng A100 ng Nvidia ang FP8, ngunit sinusuportahan nito ang INT8, na may pinakamataas na pagganap na 624 TOPS (1,248 TOPS kapag kalat-kalat). Sa paghahambing, ang H100 ng Nvidia ay sumusuporta sa FP8 at umabot sa pinakamataas na pagganap ng 1,670 TFLOPS sa 300W (3,341 TFLOPS sa kalat-kalat), na makabuluhang naiiba sa Tenstorrent's Wormhole n300.
Gayunpaman, mayroong isang malaking problema. Ang Tenstorrent's Wormhole n150 ay nagbebenta ng $999, habang ang n300 ay nagbebenta ng $1,399. Sa pamamagitan ng paghahambing, ang isang Nvidia H100 graphics card ay nagbebenta ng $30,000, depende sa dami. Siyempre, hindi namin alam kung ang apat o walong Wormhole processor ay maaaring aktwal na maghatid ng pagganap ng isang solong H300, ngunit ang kanilang mga TDP ay 600W at 1200W ayon sa pagkakabanggit.
Bilang karagdagan sa mga card, nag-aalok ang Tenstorrent ng mga pre-built na workstation para sa mga developer, kabilang ang 4 n300 card sa mas abot-kayang Xeon-based TT-LoudBox na may aktibong pagpapalamig, at ang advanced na TT-QuietBox na may EPYC-based Xiaolong) liquid cooling function).
Oras ng post: Hul-29-2024