Neocloud: Cloud Khusus AI, Apa Bedanya dengan Cloud Biasa?

Perkembangan kecerdasan buatan (AI) membuat kebutuhan terhadap komputasi berperforma tinggi meningkat pesat. Model AI modern membutuhkan daya komputasi dalam jumlah besar, terutama ketika digunakan untuk melatih model berukuran besar, melakukan penyempurnaan model, maupun melayani jutaan permintaan pengguna secara bersamaan.

Kondisi tersebut membuat infrastruktur cloud konvensional mulai menghadapi tantangan baru. Cloud memang menawarkan fleksibilitas dan kemudahan dalam menyediakan sumber daya komputasi, tetapi kebutuhan AI tidak selalu sama dengan kebutuhan aplikasi digital pada umumnya.

Di sinilah istilah neocloud mulai banyak digunakan. Sederhananya, neocloud adalah layanan cloud yang sejak awal dirancang khusus untuk menjalankan beban kerja AI. Fokusnya bukan menyediakan semua jenis layanan komputasi, melainkan memberikan akses terhadap infrastruktur AI berperforma tinggi, terutama GPU.

Lantas, apa sebenarnya neocloud, bagaimana cara kerjanya, dan apa perbedaannya dengan cloud tradisional serta hyperscaler?

Apa Itu Neocloud?

Neocloud merupakan penyedia infrastruktur cloud yang secara khusus mengoptimalkan layanannya untuk kebutuhan kecerdasan buatan. Infrastruktur tersebut biasanya dilengkapi GPU berperforma tinggi, jaringan berkecepatan tinggi, serta sistem yang dirancang untuk menangani komunikasi data dalam jumlah sangat besar.

Jika cloud tradisional dapat dianalogikan sebagai pusat komputasi serbaguna, neocloud lebih mirip fasilitas komputasi yang dibangun khusus untuk pekerjaan AI.

Fokus tersebut penting karena AI memiliki karakteristik beban kerja yang berbeda. Pelatihan model AI, misalnya, dapat melibatkan ribuan GPU yang harus bekerja secara bersamaan. Setiap GPU perlu bertukar data dengan GPU lainnya secara cepat dan terus-menerus.

Jika jaringan atau sistem penyimpanan tidak mampu mengimbangi kemampuan GPU, sebagian kemampuan komputasi tersebut akan terbuang. GPU yang mahal bisa saja tidak bekerja secara maksimal hanya karena menunggu data.

Neocloud berusaha mengatasi persoalan tersebut dengan membangun infrastruktur dari sisi komputasi, jaringan, dan penyimpanan yang sejak awal dioptimalkan untuk AI.

Mengapa Neocloud Dibutuhkan?

AI generatif dan berbagai aplikasi AI modern membutuhkan sumber daya komputasi yang jauh lebih besar dibandingkan banyak aplikasi digital tradisional.

Ketika sebuah perusahaan hanya membutuhkan server untuk menjalankan situs web atau aplikasi bisnis, CPU pada cloud umum mungkin sudah mencukupi. Namun, ketika perusahaan ingin melatih model bahasa besar, mengembangkan sistem computer vision, atau menjalankan model AI secara masif, kebutuhan terhadap GPU dan jaringan berkecepatan tinggi menjadi jauh lebih penting.

GPU memiliki kemampuan melakukan banyak operasi secara paralel sehingga sangat cocok untuk pekerjaan AI. Namun, memiliki banyak GPU saja belum cukup. GPU-GPU tersebut harus dapat berkomunikasi dengan cepat. Semakin besar model AI yang dilatih, semakin besar pula kebutuhan pertukaran data antargpu dan antarsistem.

Karena itu, neocloud tidak hanya menawarkan GPU sebagai layanan. Penyedia neocloud juga membangun jaringan berperforma tinggi dan infrastruktur yang memungkinkan GPU digunakan secara lebih efisien.

Dengan pendekatan tersebut, perusahaan tidak harus membeli sendiri ratusan atau ribuan GPU, membangun pusat data, menyediakan sistem pendingin, memasang jaringan berkecepatan tinggi, serta mengelola seluruh infrastrukturnya. Perusahaan cukup menyewa kapasitas yang dibutuhkan dari penyedia neocloud.

Neocloud, Cloud Tradisional, dan Hyperscaler

Untuk memahami posisi neocloud, penting melihat perbedaannya dengan dua model cloud yang sudah lebih dahulu dikenal, yakni cloud tradisional dan hyperscaler.

1. Cloud Tradisional
   Cloud tradisional umumnya dibangun sebagai infrastruktur komputasi serbaguna. Infrastruktur ini dapat digunakan untuk menjalankan berbagai aplikasi, mulai dari situs web, database, sistem perusahaan, hingga layanan digital lainnya.

   Arsitekturnya banyak menggunakan CPU dan virtualisasi. Virtualisasi memungkinkan satu server fisik dibagi menjadi beberapa lingkungan virtual sehingga sumber daya dapat digunakan oleh banyak pelanggan.

   Keuntungannya adalah fleksibilitas. Namun, untuk pekerjaan AI berskala sangat besar, lapisan virtualisasi dan jaringan yang tidak dirancang khusus dapat menjadi sumber tambahan beban.

   Dalam dunia komputasi, kondisi ini sering disebut hypervisor tax, yakni tambahan overhead yang muncul akibat lapisan virtualisasi. Cloud tradisional tetap memiliki tempat penting. Namun, ketika kebutuhan AI semakin berat, perusahaan mulai mencari infrastruktur yang lebih khusus.

2. Hyperscaler
   Hyperscaler adalah penyedia cloud berskala global dengan pusat data dan jaringan yang tersebar di banyak wilayah. Contoh yang paling dikenal adalah AWS, Microsoft Azure, dan Google Cloud. Kelebihan utama hyperscaler adalah ekosistemnya yang sangat luas. Pelanggan tidak hanya mendapatkan server atau GPU, tetapi juga database, penyimpanan, analitik, keamanan, layanan serverless, jaringan, dan berbagai layanan lainnya.

   Hyperscaler juga menyediakan layanan AI, termasuk GPU dan platform AI terkelola.Namun, pendekatan hyperscaler pada dasarnya tetap bersifat umum. Mereka harus melayani berbagai kebutuhan komputasi, bukan hanya AI. Neocloud mengambil pendekatan berbeda.

3. Neocloud
   Neocloud dibangun dari awal dengan AI sebagai fokus utama. Salah satu layanan yang paling identik dengan neocloud adalah GPU-as-a-Service, yaitu penyediaan GPU yang dapat digunakan pelanggan tanpa harus membeli dan mengelola perangkat keras tersebut sendiri.

   Neocloud biasanya lebih menekankan performa mentah, visibilitas perangkat keras, kapasitas GPU, dan jaringan berkecepatan tinggi daripada menyediakan katalog layanan digital yang sangat luas. Karena itu, neocloud dapat menjadi pilihan menarik bagi organisasi yang kebutuhan utamanya adalah komputasi AI.

Bagaimana Cara Kerja Neocloud?

Infrastruktur neocloud dapat dipahami melalui tiga komponen utama: komputasi, jaringan, serta infrastruktur penyimpanan dan keamanan. Ketiganya harus bekerja secara terintegrasi agar GPU dapat digunakan secara maksimal.

1. Komputasi yang Dioptimalkan untuk AI
   Neocloud mengutamakan penggunaan GPU karena perangkat tersebut sangat penting untuk menjalankan perhitungan AI secara paralel.Salah satu pendekatannya adalah menggunakan bare-metal server atau server dengan virtualisasi minimal. Bare-metal berarti pengguna mendapatkan akses yang lebih langsung terhadap perangkat keras tanpa terlalu banyak lapisan virtualisasi.

   Dengan mengurangi lapisan tersebut, GPU dapat dimanfaatkan secara lebih maksimal. Neocloud juga menggunakan node dengan beberapa GPU sekaligus. Sebuah node dapat memiliki sekitar empat hingga delapan GPU, tergantung desain infrastrukturnya.

   Selain itu, pengguna biasanya mendapatkan visibilitas yang lebih baik terhadap susunan perangkat keras. Informasi tersebut dapat membantu tim teknis mengoptimalkan framework AI seperti PyTorch dan TensorFlow.

2. Jaringan Berkecepatan Tinggi
   GPU yang cepat tidak akan memberikan hasil maksimal jika jaringan yang menghubungkannya lambat. Karena itu, jaringan menjadi salah satu bagian terpenting dari neocloud.

   Umumnya terdapat dua jaringan. Pertama adalah front-end network, yang digunakan untuk akses pengguna, manajemen, dan aktivitas umum. Kedua adalah back-end network atau fabric, yaitu jaringan khusus yang menangani komunikasi antarnode GPU.Pada pelatihan AI, GPU harus sering bertukar data dan melakukan sinkronisasi. Komunikasi ini menghasilkan lalu lintas data yang sangat besar, yang sering disebut east-west traffic. Untuk mengatasinya, neocloud dapat menggunakan Ethernet berkecepatan 400G atau bahkan 800G serta teknologi seperti InfiniBand, RDMA, dan RoCE.

   RDMA (Remote Direct Memory Access) memungkinkan perangkat mengakses memori perangkat lain secara lebih langsung tanpa membebani CPU secara berlebihan. Sementara RoCE memungkinkan kemampuan RDMA berjalan melalui jaringan Ethernet. Tujuannya sederhana: mempercepat komunikasi dan mengurangi waktu tunggu antarkomponen.

   Neocloud juga dapat menggunakan arsitektur jaringan Spine-Leaf. Struktur tersebut membantu menghubungkan banyak server secara efisien dan menjaga agar kapasitas jaringan dapat berkembang seiring bertambahnya jumlah perangkat.

3. Infrastruktur Modular dan Aman
   Selain performa, keamanan dan fleksibilitas juga menjadi bagian penting. Dalam desain modular, komputasi, penyimpanan, dan jaringan dapat ditingkatkan secara terpisah sesuai kebutuhan. Neocloud juga dapat menggunakan teknologi berbasis open standards agar perusahaan memiliki fleksibilitas lebih besar dalam memilih perangkat keras dan perangkat lunak.

   Dari sisi keamanan, isolasi beban kerja menjadi perhatian penting. Model AI dan data yang digunakan perusahaan dapat memiliki nilai bisnis yang sangat tinggi sehingga aksesnya harus dibatasi. Karena itu, penyedia neocloud dapat menerapkan kontrol berbasis identitas serta segmentasi jaringan untuk mencegah akses yang tidak semestinya.

Bagaimana Perusahaan Menggunakan Neocloud?

Neocloud umumnya menawarkan beberapa model penggunaan.

• Reserved Instance
  Reserved instance cocok bagi perusahaan yang memiliki kebutuhan AI dalam jangka panjang dan dapat diprediksi. Perusahaan dapat memesan kapasitas GPU untuk periode tertentu. Dalam beberapa skenario, pelanggan bahkan dapat menggunakan cluster yang didedikasikan untuk kebutuhan mereka.

  Keuntungan model ini adalah kapasitas lebih terjamin dan biaya per penggunaan dapat lebih rendah dibandingkan layanan on-demand untuk beban kerja yang stabil. Model ini cocok untuk perusahaan yang secara rutin melatih model besar atau menjalankan inference dalam jumlah tinggi.

• On-Demand Instance
  Berbeda dengan reserved instance, model on-demand memungkinkan perusahaan menyewa sumber daya ketika dibutuhkan. Pelanggan membayar berdasarkan pemakaian, misalnya per jam atau menit.

  Model ini cocok untuk eksperimen, pengembangan, pengujian, atau pekerjaan AI yang kebutuhan komputasinya tidak selalu sama.Ketika kebutuhan meningkat, perusahaan dapat menambah sumber daya. Ketika pekerjaan selesai, kapasitas dapat dikurangi.

• Serverless AI
  Pada model serverless, pelanggan tidak perlu memikirkan detail server dan GPU yang digunakan. Penyedia layanan menangani penyediaan kapasitas, pengelolaan infrastruktur, peningkatan kapasitas, hingga sebagian besar proses operasional.

  Pengguna cukup mengakses kemampuan AI melalui platform atau API. Model ini cocok untuk perusahaan yang ingin memasukkan kemampuan AI ke dalam aplikasi tanpa harus memiliki tim khusus untuk mengelola infrastruktur GPU.

Neocloud tidak harus berdiri sendiri. Perusahaan dapat menggabungkannya dengan pusat data internal maupun cloud lain dalam strategi hybrid cloud atau multicloud. Sebagai contoh, data tertentu dapat tetap disimpan di lingkungan internal perusahaan, sementara proses pelatihan AI menggunakan GPU yang tersedia di neocloud.

Keduanya dapat dihubungkan melalui jaringan WAN atau SD-WAN yang aman. Pendekatan tersebut memberikan fleksibilitas bagi perusahaan untuk menentukan di mana data disimpan, di mana model dilatih, dan di mana inference dijalankan.

Apa Saja Keuntungan Neocloud?

Salah satu manfaat utama neocloud adalah mempercepat pelatihan model AI. Dengan GPU berperforma tinggi dan jaringan yang dirancang khusus untuk komunikasi antarnode, waktu yang dibutuhkan untuk melatih model dapat dikurangi.

Manfaat berikutnya adalah pemanfaatan GPU yang lebih optimal. Infrastruktur yang dirancang khusus dapat mengurangi gangguan jaringan dan masalah seperti noisy neighbor, yakni kondisi ketika aktivitas pelanggan lain pada infrastruktur bersama memengaruhi performa.

Neocloud juga menawarkan transparansi infrastruktur yang lebih besar. Tim teknis dapat memperoleh informasi lebih detail mengenai perangkat keras dan jaringan sehingga lebih mudah melakukan optimasi. Selain itu, neocloud memungkinkan perusahaan memperoleh infrastruktur AI tanpa harus membeli seluruh perangkat keras dan membangun pusat data sendiri.

Apa Kekurangan Neocloud?

Meski menawarkan performa tinggi, neocloud bukan solusi yang cocok untuk semua kebutuhan. Salah satu keterbatasannya adalah jumlah layanan yang lebih sedikit dibandingkan hyperscaler. Hyperscaler dapat menyediakan hampir seluruh kebutuhan perusahaan dalam satu ekosistem, mulai dari database dan analitik hingga layanan keamanan dan distribusi konten.

Neocloud biasanya lebih fokus pada infrastruktur AI dan GPU. Karena itu, perusahaan mungkin tetap membutuhkan penyedia cloud lain untuk kebutuhan IT lainnya. Keterbatasan geografis juga perlu diperhatikan. Tidak semua penyedia neocloud memiliki pusat data di banyak negara atau wilayah. Bagi perusahaan yang memiliki aturan ketat mengenai lokasi data, ketersediaan wilayah menjadi faktor penting sebelum memilih penyedia.

Selain itu, penggunaan infrastruktur AI tingkat rendah dapat membutuhkan tenaga ahli. Tim yang terbiasa menggunakan PaaS mungkin harus mempelajari lebih banyak aspek teknis, seperti topologi jaringan, konfigurasi GPU, dan optimasi pelatihan terdistribusi.

Integrasi dengan sistem perusahaan juga dapat menambah kompleksitas, terutama jika perusahaan menggabungkan neocloud dengan infrastruktur IT tradisional.

Masa Depan Neocloud

Pertumbuhan AI diperkirakan akan terus mendorong kebutuhan terhadap infrastruktur khusus. Model AI semakin besar, aplikasi multimodal semakin kompleks, dan AI agent mulai membutuhkan kemampuan menjalankan berbagai tugas secara berkelanjutan. Situasi tersebut membuat kebutuhan terhadap GPU, jaringan berkecepatan tinggi, penyimpanan, dan sistem keamanan semakin besar.

Di masa depan, perkembangan neocloud kemungkinan akan ditandai oleh penggunaan GPU dan chip akselerator AI yang semakin canggih, jaringan Ethernet dengan bandwidth lebih tinggi, software jaringan berbasis open standards, serta sistem keamanan yang dirancang khusus untuk AI.

Pelatihan model dan inference juga berpotensi semakin terintegrasi. Infrastruktur yang sebelumnya digunakan terutama untuk melatih model dapat berkembang menjadi platform yang juga mampu menangani inference dalam skala besar.

Kesimpulan

Neocloud pada dasarnya merupakan evolusi infrastruktur cloud yang muncul karena kebutuhan AI semakin berbeda dari kebutuhan komputasi umum. 

Jika cloud tradisional mengutamakan fleksibilitas untuk berbagai aplikasi dan hyperscaler menawarkan ekosistem layanan yang sangat luas, neocloud lebih fokus pada satu hal: menyediakan infrastruktur AI berperforma tinggi secara efisien. GPU, jaringan berkecepatan tinggi, RDMA, RoCE, akses bare-metal, dan arsitektur yang dirancang khusus menjadi bagian penting dari pendekatan tersebut.

Bagi perusahaan yang sedang mengembangkan model AI, menjalankan inference dalam skala besar, atau membutuhkan GPU tanpa ingin membangun pusat data sendiri, neocloud dapat menjadi salah satu pilihan.

Namun, keputusan menggunakan neocloud tetap harus disesuaikan dengan kebutuhan. Faktor biaya, lokasi data, keamanan, kapasitas GPU, performa jaringan, kemampuan tim teknis, serta kebutuhan terhadap layanan cloud lainnya perlu dipertimbangkan.

Dengan semakin besarnya peran AI dalam bisnis dan teknologi, neocloud kemungkinan akan menjadi salah satu bagian penting dari ekosistem cloud. Bukan untuk menggantikan cloud tradisional atau hyperscaler sepenuhnya, melainkan melengkapinya dengan infrastruktur yang secara khusus dibangun untuk menghadapi tuntutan komputasi AI generasi baru.