DBRX

DBRX
ilustracja
Autor Databrics(inne języki)
Pierwsze wydanie 2024-03-27 27 marca 2024(dts)
Rodzaj duży model językowy
Licencja Databricks Open License
Strona internetowa

DBRX – otwarty duży model językowy opracowany przez firmę Databricks i wydany 27 marca 2024[1][2][3]. Jest to model transformera z architekturą mieszanki ekspertów, zawierający łącznie 132 miliardy parametrów. Dla każdego tokena aktywnych jest 36 miliardów parametrów (4 z 16 ekspertów)[4]. Wydany model jest dostępny w wersji bazowej lub w wersji dostrojonej do instrukcji.

W momencie wydania DBRX przewyższył inne znane modele open source, takie jak LLaMA 2 firmy Meta, Mixtral firmy Mistral AI i Grok firmy xAI, w kilku testach porównawczych, począwszy od rozumienia języka, umiejętności programowania i matematyki[4][5][6].

Szkolenie trwało 2,5 miesiąca[5] na 3072 kartach Nvidia H100 połączonych przepustowością 3,2 TB/s przez InfiniBand, a koszt szkolenia wyniósł 10 mln USD[1].

Przypisy

  1. ↑ a b Introducing DBRX: A New State-of-the-Art Open LLM [online], Databricks, 27 marca 2024 [dostęp 2025-04-18] (ang.).
  2. ↑ New Databricks open source LLM targets custom development | TechTarget [online], Search Business Analytics [dostęp 2025-04-18] (ang.).
  3. ↑ Databricks’ open-source DBRX LLM beats Llama 2, Mixtral, and Grok [online], InfoWorld [dostęp 2025-04-18] (ang.).
  4. ↑ a b Anubhav, A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores [online], Gizmochina, 28 marca 2024 [dostęp 2025-04-18] (ang.).
  5. ↑ a b Will Knight, Inside the Creation of the World’s Most Powerful Open Source AI Model, „Wired”, ISSN 1059-1028 [dostęp 2025-04-18] (ang.).
  6. ↑ Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. – MK [online], 매일경제, 28 marca 2024 [dostęp 2025-04-18] (ang.).
Generatywna sztuczna inteligencja
Pojęcia
Modele
Tekst
Mowa
Obraz
Programowanie
Wideo
Agent AI

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.
Kembali kehalaman sebelumnya