Das Technology Innovation Institute der Vereinigten Arabischen Emirate revolutioniert KI-Sprachmodelle mit neuer Architektur
2024年8月13日 - 12:58AM
ビジネスワイヤ(英語)
- Falcon Mamba 7B ist das leistungsstärkste quelloffene State
Space Language Model (SSLM) der Welt, wie von Hugging Face
unabhängig bestätigt wurde
- SSLMs verursachen geringe Speicherkosten und ben�tigen keinen
zusätzlichen Speicher, um beliebig lange Textbl�cke zu
generieren
- Falcon Mamba 7B schneidet auch besser ab als traditionelle
Modelle mit Transformer-Architektur wie Llama 3.1 8B von Meta und
7B von Mistral
- Das neue Modell ist ein Spiegelbild der Innovationskraft und
des Pioniergeistes von Abu Dhabi in der KI-Forschung und
-Entwicklung
Das Technology Innovation Institute (TII), ein führendes,
internationales wissenschaftliches Forschungszentrum und die Säule
für angewandte Forschung des Abu Dhabi Advanced Technology Research
Council (ATRC), hat ein neues großes Sprachmodell in seiner
Falcon-Reihe ver�ffentlicht, das Falcon Mamba 7B. Dieses neue
Modell ist das weltweit leistungsstärkste quelloffene State Space
Language Model (SSLM), wie von Hugging Face unabhängig bestätigt
wurde.
Diese Pressemitteilung enthält multimediale
Inhalte. Die vollständige Mitteilung hier ansehen:
https://www.businesswire.com/news/home/20240812851974/de/
UAE’s Technology Innovation Institute
Revolutionizes AI Language Models With New Architecture (Photo:
AETOSWire)
Das erste Falcon-SSLM unterscheidet sich von früheren
Falcon-Modellen, die alle eine auf Transformern basierende
Architektur nutzen. Das neue Falcon Mamba 7B-Modell ist ein
weiteres Beispiel für die wegweisende Forschung des Instituts und
die innovativen Tools und Produkte, die es der Gemeinschaft in
einem Open-Source-Format zur Verfügung stellt.
S.E. Faisal Al Bannai, Generalsekretär des ATRC und Berater des
Präsidenten der Vereinigten Arabischen Emirate für strategische
Forschung und fortgeschrittene Technologie, sagte: „Falcon Mamba 7B
ist das vierte KI-Modell des TII in Folge, das sich einen
Spitzenplatz sichert, und es stärkt Abu Dhabi als globales Zentrum
für KI-Forschung und -Entwicklung. Diese Leistung unterstreicht das
unerschütterliche Engagement der VAE für Innovation.“
Bei den auf Transformern basierenden Architekturmodellen
übertrifft das Falcon Mamba 7B das Llama 3.1 8B, das Llama 3 8B und
das 7B von Mistral bei den neu eingeführten Benchmarks von
HuggingFace. Im Vergleich zu den anderen SSLMs schlägt das Falcon
Mamba 7B alle anderen Open-Source-Modelle bei den alten Benchmarks
und wird das erste Modell in der neuen, strengeren
Benchmark-Rangliste von HuggingFace sein.
Dr. Najwa Aaraj, Chief Executive von TII, sagte: „Das Technology
Innovation Institute erweitert mit seinen KI-Modellen der
Falcon-Reihe kontinuierlich die Grenzen der Technologie. Das Falcon
Mamba 7B steht für bahnbrechende Pionierarbeit und ebnet den Weg
für zukünftige KI-Innovationen, die die menschlichen Fähigkeiten
erweitern und das Leben verbessern werden.“
State-Space-Modelle zeichnen sich durch eine hohe
Leistungsfähigkeit beim Verständnis komplexer Situationen aus, die
sich im Laufe der Zeit entwickeln, beispielsweise ein ganzes Buch.
Der Grund dafür ist, dass SSLMs keinen zusätzlichen Speicher
ben�tigen, um so große Informationsmengen zu verarbeiten.
Auf Transformern basierende Modelle hingegen sind sehr effizient
darin, sich Informationen zu merken und diese Informationen, die
sie zuvor in einer Sequenz verarbeitet haben, zu nutzen. Dadurch
eignen sie sich sehr gut für Aufgaben wie die Generierung von
Inhalten. Da sie aber jedes Wort mit jedem anderen Wort
vergleichen, ist dafür eine erhebliche Rechenleistung
erforderlich.
SSLMs k�nnen in verschiedenen Bereichen wie bei Schätzungen,
Prognosen und Steuerungsaufgaben eingesetzt werden. Ähnlich wie die
Transformer-Architekturmodelle eignen sie sich auch sehr gut für
Aufgaben der natürlichen Sprachverarbeitung und k�nnen für
maschinelle Übersetzung, Textzusammenfassung, Computer Vision und
Audioverarbeitung eingesetzt werden.
Dr. Hakim Hacid, amtierender Chief Researcher der AI
Cross-Center Unit des TII, sagte: „Ich bin stolz auf das
kollaborative Ökosystem des TII, das die Entwicklung und die
Markteinführung des Falcon Mamba 7B erm�glicht hat. Diese
Ver�ffentlichung bringt uns einen großen Schritt nach vorne,
inspiriert zu neuen Perspektiven und treibt die Suche nach
intelligenten Systemen weiter voran. Wir am TII erweitern die
Grenzen sowohl von SSLM- als auch von Transformer-Modellen, um
weitere Innovationen im Bereich der generativen KI zu f�rdern.“
Falcon LLMs wurden über 45 Millionen Mal heruntergeladen, was
ein Beweis für den enormen Erfolg der Modelle ist. Falcon Mamba 7B
wird unter der TII Falcon License 2.0 ver�ffentlicht, der
permissiven, auf Apache 2.0 basierenden Softwarelizenz, die eine
Richtlinie zur verantwortungsvollen Nutzung von KI enthält. Weitere
Informationen über das neue Modell finden Sie unter
FalconLLM.TII.ae.
*Quelle: AETOSWire
Die Ausgangssprache, in der der Originaltext ver�ffentlicht
wird, ist die offizielle und autorisierte Version. Übersetzungen
werden zur besseren Verständigung mitgeliefert. Nur die
Sprachversion, die im Original ver�ffentlicht wurde, ist
rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen
Sprachversion der Ver�ffentlichung ab.
Originalversion auf businesswire.com
ansehen: https://www.businesswire.com/news/home/20240812851974/de/
Jennifer Dewan, Senior Director of Communications
Jennifer.dewan@tii.ae