Inilabas na ng Tenstorrent, ang chip company na pinamumunuan ni Jim Keller, ang susunod nitong henerasyon ng Wormhole processor para sa mga AI workload, na inaasahan nitong mag-aalok ng mahusay na performance sa abot-kayang presyo.Kasalukuyang nag-aalok ang kumpanya ng dalawang karagdagang PCIe card na maaaring maglaman ng isa o dalawang Wormhole processor, pati na rin ang mga TT-LoudBox at TT-QuietBox workstation para sa mga software developer. Ang lahat ng mga anunsyo ngayon ay para sa mga developer, hindi sa mga gumagamit ng Wormhole board para sa mga komersyal na workload.
“Laging kasiya-siya na maipaabot sa mga developer ang mas marami pa naming produkto. Ang mga release development system gamit ang aming mga Wormhole™ card ay makakatulong sa mga developer na mapalawak at makabuo ng multi-chip AI software,” sabi ni Jim Keller, CEO ng Tenstorrent.Bukod sa paglulunsad na ito, nasasabik kaming makita ang aming pag-unlad sa paglabas ng tape at pagpapagana ng aming pangalawang henerasyong produkto, ang Blackhole.”
Ang bawat Wormhole processor ay naglalaman ng 72 Tensix cores (lima sa mga ito ay sumusuporta sa RISC-V cores sa iba't ibang format ng data) at 108 MB ng SRAM, na naghahatid ng 262 FP8 TFLOPS sa 1 GHz na may thermal design power na 160W. Ang single-chip Wormhole n150 card ay may 12 GB GDDR6 video memory at may bandwidth na 288 GB/s.
Nagbibigay ang mga Wormhole processor ng flexible scalability upang matugunan ang magkakaibang pangangailangan ng mga workload. Sa isang karaniwang setup ng workstation na may apat na Wormhole n300 card, ang mga processor ay maaaring pagsamahin sa isang unit na lumilitaw sa software bilang isang pinag-isang, malawak na Tensix core network. Ang configuration na ito ay nagbibigay-daan sa accelerator na pangasiwaan ang parehong workload, hatiin sa pagitan ng apat na developer o magpatakbo ng hanggang walong magkakaibang AI model nang sabay-sabay. Ang isang pangunahing tampok ng scalability na ito ay maaari itong tumakbo nang lokal nang hindi nangangailangan ng virtualization. Sa isang data center environment, gagamit ang mga Wormhole processor ng PCIe para sa expansion sa loob ng makina, o Ethernet para sa external expansion.
Sa usapin ng performance, ang single-chip Wormhole n150 card ng Tenstorrent (72 Tensix cores, 1 GHz frequency, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwidth) ay nakapaghatid ng 262 FP8 TFLOPS sa 160W, habang ang dual-chip Wormhole n300 board (128 Tensix cores, 1 GHz frequency, 192 MB SRAM, pinagsama-samang 24 GB GDDR6, 576 GB/s bandwidth) ay nakapaghahatid ng hanggang 466 FP8 TFLOPS sa 300W.
Para mailagay sa konteksto ang 300W ng 466 FP8 TFLOPS, ikukumpara natin ito sa iniaalok ng nangunguna sa AI market na Nvidia sa thermal design power na ito. Hindi sinusuportahan ng A100 ng Nvidia ang FP8, ngunit sinusuportahan nito ang INT8, na may peak performance na 624 TOPS (1,248 TOPS kapag sparse). Sa paghahambing, sinusuportahan ng H100 ng Nvidia ang FP8 at umaabot sa peak performance na 1,670 TFLOPS sa 300W (3,341 TFLOPS sa sparse), na lubhang naiiba sa Wormhole n300 ng Tenstorrent.
Gayunpaman, may isang malaking problema. Ang Wormhole n150 ng Tenstorrent ay nagkakahalaga ng $999, habang ang n300 ay nagkakahalaga ng $1,399. Kung ikukumpara, ang isang Nvidia H100 graphics card ay nagkakahalaga ng $30,000, depende sa dami. Siyempre, hindi natin alam kung apat o walong Wormhole processor ang kayang magbigay ng performance ng isang H300, ngunit ang kanilang mga TDP ay 600W at 1200W ayon sa pagkakabanggit.
Bukod sa mga card, nag-aalok ang Tenstorrent ng mga pre-built workstation para sa mga developer, kabilang ang 4 na n300 card sa mas abot-kayang Xeon-based na TT-LoudBox na may active cooling, at ang advanced na TT-QuietBox na may EPYC-based na Xiaolong (liquid cooling function).
Oras ng pag-post: Hulyo 29, 2024