Dalam perlumbaan untuk meningkatkan kecerdasan buatan, syarikat Silicon Valley Cerebras mengambil strategi yang tidak biasa: Pergi besar.
Walaupun cip komputer biasa adalah ukuran kuku, Cerebras' cip adalah ukuran pinggan makan.
Pembelajaran mendalam, teknologi AI yang memberi kuasa kepada pembantu suara, kereta memandu sendiri dan juara Go, bergantung pada kompleks &; rangkaian saraf" perisian disusun secara berlapis. Sistem pembelajaran mendalam dapat dijalankan pada satu komputer, tetapi sistem terbesar tersebar di ribuan mesin yang terhubung, kadang-kadang di pusat data besar, seperti yang dikendalikan oleh Google. Dalam kelompok besar, sehingga 48 pelayan berukuran kotak pizza masuk ke rak setinggi satu orang; Rak berbaris dalam barisan dan memenuhi bangunan seukuran gudang. Jaringan saraf dalam sistem ini dapat menyelesaikan masalah menakutkan, tetapi mereka juga menghadapi cabaran yang jelas. Jaringan yang berkembang di dalam kelompok adalah seperti otak yang tersebar di seberang bilik dan dihubungkan bersama. Elektron bergerak pantas, namun begitu, komunikasi merentasi cip perlahan dan memakan banyak tenaga.
Eric Vishria, rakan kongsi am di firma modal teroka San Francisco Benchmark, pertama kali menyedari masalah itu ketika mendengar Cerebras Systems, sebuah syarikat cip komputer baru, bercakap pada musim bunga 2016. Benchmark terkenal sebagai pelabur awal dalam syarikat seperti Twitter, Uber, dan ebay - iaitu, dalam perisian, bukan perkakasan. Syarikat ini melihat sekitar 200 syarikat permulaan setahun dan melabur dalam satu." Kami bermain permainan ini dengan mencium seribu katak," Vishria memberitahu saya. Pada awal ucapannya, dia memutuskan untuk membuang katak itu kembali." Saya fikir, mengapa saya bersetuju dengan ini?" Kami' tidak akan melabur dalam perkakasan," dia ingat berfikir." Ini' bodoh."
Pengasas bersama Cerebras Andrew Feldman bermula dengan penutup slaid ke slaid pasukannya dan menarik perhatian Vishria &: bakatnya sangat mengagumkan. Feldman kemudian membandingkan dua jenis cip komputer. Pertama, dia melihat unit pemprosesan grafik, atau cip Gpus yang direka khusus untuk membuat gambar 3D. Sistem pembelajaran mesin&hari ini bergantung pada cip grafik ini kerana pelbagai sebab. Seterusnya, dia melihat unit pemprosesan pusat, atau cpus, cip tujuan umum yang melakukan sebahagian besar pekerjaan di komputer biasa." Slaid ketiga adalah mengenai' Gpus,' yang sebenarnya buruk untuk pembelajaran mendalam - kebetulan mereka seratus kali lebih baik daripada cpus." Cerebras hadir dengan jenis cip baru yang tidak dirancang untuk grafik tetapi direka khusus untuk kecerdasan buatan.
Vishria terbiasa mendengar pendapat dari syarikat yang merancang untuk menggunakan pembelajaran mendalam dalam keselamatan siber, pengimejan perubatan, chatbots dan aplikasi lain. Selepas perbincangan Cerebras&# 39, dia bercakap dengan jurutera di syarikat yang dibiayai oleh Benchmark, termasuk Zillow, Uber, dan Stitch Fix; Mereka memberitahunya bahawa mereka menghadapi masalah dengan AI kerana mengambil masa terlalu lama untuk" melatih" rangkaian saraf. Google telah mula menggunakan&super; unit pemprosesan tensor," atau Tpus, cip khas yang direka untuk kecerdasan ARTIFICIAL. Vishria tahu ada emas yang sedang berlaku dan seseorang harus membuat pilihan dan sekop.
Pada tahun itu, Benchmark dan Foundation Capital, firma Capital Capital yang lain, mengetuai pusingan pembiayaan $ 27 juta untuk Cerebras, yang telah mengumpulkan hampir $ 500 juta. Syarikat lain juga membuat pemacu kecerdasan buatan yang disebut; Cerebras' pesaing groq, Graphcore dan Sambanova mengumpulkan lebih daripada $ 2 bilion modal di antara mereka. Tetapi Cerebras' pendekatan adalah unik. Daripada mencetak puluhan wafer pada sekeping silikon yang besar, memotongnya dan menghubungkannya antara satu sama lain, syarikat itu telah mencipta sebiji gergasi &; tahap wafer" cip. Walaupun cip komputer biasa adalah ukuran kuku, Cerebras berukuran seukuran pinggan makan dan merupakan cip komputer terbesar di dunia.
Malah pesaing mendapati prestasi itu mengagumkan." Ini adalah sains baru," Nigel Toon, ketua eksekutif dan pengasas bersama Graphcore&# 39, memberitahu saya." Ini adalah teknik yang luar biasa. Ini' karya agung." Sementara itu, seorang jurutera lain yang saya bincangkan menggambarkannya sebagai projek sains - besar untuk kepentingan&# 39. Pada masa lalu, syarikat telah mencuba dan gagal membuat kerepek gergasi; Cerebras' rancangan adalah pertaruhan bahawa mengatasi cabaran kejuruteraan adalah mungkin dan berbaloi." Sejujurnya, bagi saya, kejahilan adalah satu kelebihan," Kata Vishria." Saya tidak tahu jika saya tahu betapa sukarnya melakukan apa yang mereka lakukan, saya akan mempunyai keberanian untuk melabur."
Sangat mudah untuk menganggap bahawa komputer semakin cepat dan cepat. Ini sering dijelaskan oleh Undang-Undang Moore&#: pola yang ditubuhkan pada tahun 1965 oleh perintis semikonduktor Gordon Moore, yang mana jumlah transistor pada cip berlipat ganda setiap tahun atau setiap dua tahun. Sudah tentu, Undang-Undang Moore&# 39 bukan benar-benar undang-undang, dan jurutera bekerja tanpa lelah untuk mengecilkan transistor sambil juga meningkatkan" architecture" setiap cip untuk menghasilkan reka bentuk yang lebih cekap dan hebat.
Arkitek cip telah lama bertanya-tanya apakah cip komputer berskala besar mungkin lebih efisien daripada sekumpulan cip yang lebih kecil, sama seperti bandar dengan sumber tertumpu dan blok padat lebih efisien daripada pinggir bandar. Idea ini pertama kali dicuba pada tahun 1960-an, ketika Texas Instruments menghadkan pengeluaran cip selebar beberapa inci. Tetapi jurutera syarikat&# 39 mengalami masalah hasil. Pada wafer silikon tertentu, kecacatan pembuatan pasti akan membahayakan sebilangan litar. Sekiranya wafer mengandungi 50 kerepek, syarikat itu boleh membuang yang buruk dan menjual yang baik. Tetapi jika setiap cip yang berjaya bergantung pada rangkaian kerja satu wafer, banyak wafer yang mahal akan dibuang. Texas Instruments menemui jalan penyelesaian, tetapi teknologi dan keperluannya belum ada'
Pada tahun 1980-an, seorang jurutera bernama Gene Amdahl berusaha sekali lagi untuk menyelesaikan masalah dengan sebuah syarikat yang ditubuhkannya bernama Trilogy Systems. Ia menjadi syarikat permulaan terbesar dalam sejarah Silicon Valley &, dengan dana sekitar $ 250 juta. Untuk mengatasi masalah hasil, Trilogy mencetak komponen berlebihan ke cip. Kaedah ini meningkatkan pengeluaran tetapi mengurangkan kelajuan cip. Sementara itu, Trilogy berjuang dengan cara lain. Amdahl berlari dengan penunggang motosikal Royce, menyebabkan masalah undang-undang; Presidennya meninggal dunia kerana ketumbuhan otak; Hujan lebat telah melambatkan pembinaan kilang, sistem penyaman udara yang berkarat dan mengumpulkan habuk pada kerepek. Pada tahun 1984, Trilogi menyerah." Saya tidak menyedari betapa sukarnya," Anak lelaki Amdahl&memberitahu The Times.
Sekiranya teknologi Trilogy&# 39 berjaya, ia kini dapat digunakan untuk pembelajaran mendalam. Sebaliknya, Gpus (cip yang digunakan dalam permainan video) menyelesaikan masalah saintifik di makmal nasional. Menggunakan semula gpus untuk AI bergantung pada fakta bahawa rangkaian saraf, walaupun sangat kompleks, bergantung pada banyak pendaraban dan penambahan. Apabila" neuron" dalam rangkaian saling menembak, mereka saling memperkuat atau mengurangkan isyarat&# 39, mengalikannya dengan pekali yang disebut bobot sambungan. Pemproses AI yang cekap akan mengira banyak pengaktifan secara selari; Ia menggabungkannya menjadi satu rangkaian nombor yang disebut vektor, atau grid nombor yang disebut matriks, atau blok dimensi tinggi yang disebut tensor. Sebaik-baiknya, anda mahu memperbanyak satu matriks atau tensor dengan matrik yang lain sekaligus. Gpus direka untuk melakukan sesuatu yang serupa:
& quot; Bayangan Trilogi begitu besar," Feldman memberitahu saya baru-baru ini," bahawa orang berhenti berfikir dan mula berkata,'&# 39 tidak mungkin.'" Syarikat GPU, termasuk Nvidia, memanfaatkan peluang untuk menyesuaikan cip mereka untuk pembelajaran mendalam. Pada tahun 2015, Feldman dan sekumpulan arkitek komputer mula membincangkan idea cip yang lebih besar setelah mereka menubuhkan syarikat pelayan komputer, Seamicro, yang mereka jual kepada pembuat cip AMD dengan harga $ 334 juta. Mereka menyelesaikan masalah ini selama empat bulan di pejabat yang dipinjam dari firma modal teroka. Apabila mereka mempunyai garis panduan penyelesaian yang boleh dilaksanakan, mereka bercakap dengan lapan syarikat; Mendapat dana dari Benchmark, Foundation Capital, dan Eclipse, dan mula mengambil pekerja.
Cerebras' tugas pertama adalah menyelesaikan masalah pembuatan yang merebak kerepek besar. Cip itu pada mulanya adalah jongkong silinder silikon kristal berdiameter satu kaki, dan jongkong keluli dipotong menjadi wafer setebal kurang dari satu milimeter. Litar kemudian" dicetak" ke wafer melalui proses yang disebut litografi. Bahan kimia sensitif Uv disimpan dengan teliti di permukaan, dan kemudian sinar sinar UV diproyeksikan melalui templat terperinci yang disebut topeng. Bahan kimia ini bertindak balas untuk membentuk litar.
Biasanya, kawasan yang diliputi cahaya yang diproyeksikan melalui topeng menjadi cip. Kemudian cip bergerak dan cahaya diproyeksikan lagi. Setelah puluhan atau beratus-ratus cip dicetak, ia dipotong dengan laser dari wafer." Cara termudah untuk melakukannya ialah ibu anda mengeluarkan adunan kue bulat," Feldman berkata." Dia mempunyai acuan kuki dan dia memotong kuki dengan teliti." Undang-undang fizik dan optik menjadikan mustahil untuk membuat pemotong kuki yang lebih besar. Hasilnya," kami mengembangkan teknologi sehingga anda dapat berkomunikasi melalui sedikit adunan antara dua kuki."
Dalam sistem percetakan Cerebras dikembangkan bekerjasama dengan TSMC, syarikat yang membuat cip, tepi kuki bertindih sehingga wayar mereka tersambung. Hasilnya adalah satu" ukuran wafer" wafer, kotak berwarna tembaga dan 21cm di setiap sisi. (Gpus terbesar berdiameter kurang dari 3cm.) Cerebras menghasilkan cip pertamanya, Mesin skala Wafer 1, pada tahun 2019. Wse-2, diperkenalkan tahun ini, menggunakan litar yang lebih padat, dengan 2.6 trilion transistor dibungkus ke dalam 850,000 unit pemprosesan , atau" core" ;. (Gpus Teratas hanya mempunyai beberapa ribu teras, sementara kebanyakan cpus mempunyai kurang dari 10.)
& quot; 2.6 trilion transistor sangat mengejutkan," kata Aart de Geus, Pengerusi dan Ketua Pegawai Eksekutif Synopsys. Synopsys menyediakan beberapa perisian yang digunakan oleh Cerebras dan pembuat chip lain untuk membuat dan mengesahkan reka bentuk cip mereka. De Geus mengatakan bahawa semasa merancang cip, para jurutera terlebih dahulu harus mempertimbangkan dua persoalan utama:" Dari mana data itu berasal?" Di mana ia dikendalikan?" Apabila kerepek lebih mudah, pereka dapat menjawab soalan-soalan ini dengan pensil di atas meja lukisan; Semasa bekerja dengan cip&# 39 yang lebih kompleks sekarang, masukkan kod yang menerangkan seni bina yang ingin mereka buat, kemudian beralih ke alat visualisasi dan pengekodan." Fikirkan bagaimana rupa rumah dari bumbung," de Geus berkata." Adakah garaj berhampiran dapur? Atau dekat dengan bilik tidur? Anda mahukannya di dekat dapur - jika tidak, anda' saya perlu membawa barang runcit ke setiap sudut rumah." Setelah merancang denah lantai, dia menjelaskan," anda boleh menggunakan persamaan untuk menerangkan apa yang berlaku di ruangan tersebut."
Kerumitan reka bentuk kerepek sangat menarik perhatian." Terdapat banyak lapisan di sini," de Geus berkata, dengan litar yang saling bersilang dan berlapis di antara satu sama lain, seperti jalan raya lebuh raya utama. Bagi jurutera Cerebras, bekerja pada skala wafer, kerumitannya meningkat. Sinopsis' perisian membantu dalam bentuk kecerdasan buatan: algoritma pemadanan corak mengenal pasti masalah biasa dan mencadangkan penyelesaian; Program pengoptimum menggerakkan ruangan ke susunan yang lebih pantas dan lebih cekap. Sekiranya terlalu banyak jalan cuba memasuki bangunan dua blok, perisian ini membolehkan jurutera memainkan Robert Moses dan memindahkan blok tersebut.
Pada akhirnya, kata Feldman, terdapat beberapa kelebihan untuk reka bentuk cip yang besar. Apabila inti berada pada cip yang sama, mereka berkomunikasi lebih cepat: otak komputer&# sekarang tertumpu dalam satu tengkorak, dan bukannya tersebar di seberang ruangan. Cip yang lebih besar juga dapat mengatasi memori dengan lebih baik. Biasanya, cip kecil yang siap memproses fail mesti mendapatkan fail terlebih dahulu dari cip memori bersama yang terdapat di tempat lain di papan litar; Hanya data yang paling biasa digunakan di cache lebih dekat ke rumah. Dalam menjelaskan kecekapan cip tahap wafer, Feldman menawarkan analogi: Dia meminta saya membayangkan sekumpulan rakan sebilik (inti) yang tinggal di asrama (cip) yang ingin menonton permainan bola sepak (melakukan kerja komputer). Untuk menonton permainan, kata feldman, rakan sebilik perlu menyimpan bir di dalam peti sejuk (data disimpan dalam memori); Cerebras menyimpan peti sejuk di setiap bilik sehingga rakan sebilik tidak perlu mengambil risiko pergi ke dapur umum atau Gerbang asrama&# 39. Ini mempunyai kelebihan tambahan untuk membolehkan setiap inti memproses data yang berbeza dengan lebih cepat." Oleh itu, saya dapat mempunyai Bud di bilik asrama saya," Feldman berkata." Di asrama anda, anda boleh memiliki Schlitz."
Akhirnya, Cerebras mesti mengatasi masalah hasil. Jurutera syarikat&# 39 menggunakan helah Trilogy&# 39: redundancy. Tetapi di sini mereka mempunyai kelebihan berbanding pendahulunya. Trilogy cuba membuat cip generik dengan banyak komponen yang berbeza, jadi pendawaian di sekitar satu komponen yang gagal mungkin memerlukan penyambungan ke pengganti yang jauh. Di Cerebras' cip, semua intinya sama. Sekiranya satu biskut salah, yang ada di dalamnya sama baiknya.