7. Vergleich verschiedener Künstlicher Intelligenzen¶
In diesem Versuch werden verschiedene Künstliche Intelligenzen (KI) miteinander verglichen. Ziel ist es die drei aktuell beliebtesten KI-Modelle von ChatGPT, DeepSeek und Gemini zu vergleichen. Dabei wird untersucht, wie gut die Modelle in der Lage sind, Python-Code zu generieren und mathematische Berechnungen durchzuführen und im Bezug auf Schnelligkeit, Genauigkeit, Qualität und Korrektheit der Ergebnisse zu bewerten. Die Modelle werden in je einem neuen Chat auf dieselbe Aufgabe angesetzt und die Ergebnisse werden verglichen. Die Bewertung erfolgt durch Vergabe von Punkten basierend auf den genannten Kriterien.
7.1. Versuche¶
Snake Code-Generierung
Lösen mathematischer Berechnungen
Lösen von statischen Aufgaben
Erstellung und Analyse von Bildern
Aktualität von Informationen
7.2. Snake Code-Generierung¶
Für den ersten Versuch wurde den verschiedenen KI-Modellen der Prompt „Erstelle ein Python Game, dass wie snake aufgebaut ist in pygame“ gegeben. Die generierten Codes wurden dann ohne weitere Anpassungen ausgeführt. Die ausgegebenen Codes sind im 54/6_AI_Vergleiche Ordner zu finden. Das Modell das hierbei am schlechtesten abgeschnitten ChatGPT. Zwar wurde ein grunlegend funktionierendes Spiel erzeugt, allerdings ist dieses optisch nicht ansprechend gestaltet und auch mit Fehlern behaftet. Die ChatGPT Version verlängert den Körper der Schlange, wenn Nahrung aufgesammelt wird. Der Code der von Gemini erzeugt wurde behob dieses Problem und ergänzte auch eine Funktion zum SNeustart nach Spielende. Das Modell, welches die Aufgabe jedoch am besten erfüllt hat ist DeepSeek. Hier wurde ein Spiel generiert, welches optisch ansprechend ist und auch die Funktionalität zum Neustart nach Spielende beinhaltet, ebenso wie einen Punktestand.
Hieraus ergibt sich folgende Bewertung:
ChatGPT: 1 Punkte
Gemini: 2 Punkte
DeepSeek: 3 Punkte
7.3. Lösen mathematischer Berechnungen¶
Zum Vergleichen der Mathe Fähigkeiten wurde den KI Modellen die Parabelgleichung f(x)=3 x^(2)-4 x-1 gegeben. Für diese sollten die Nullstellen berechnet werden.
Hierbei erhielten alle Modelle die richtigen Ergebnisse. Gemini zeigt zusätzlich die Werte als Zahl an und rechnete somit den Bruch komplett aus.
Da hier alle Modelle gut abschnitten. Sollte nun für die Funktion f(x)=3 x^(3)-4 x^(2)+x-1 die Nullstellen berechnet werden. Alle Modelle errechneten die Werte mittels Newton Verfahren.
Tatsächlicher x-Wert: 1,2767
ChatGPT x-Wert: 1,186
Gemini x-Wert: 1,278
Deepseek x-Wert: 1,3247
Gemini war hierbei das schnellste und auch das einzige Modell, dass den richtigen x-Wert finden konnte. Die anderen beide Modelle waren ca. gleich weit von der Lösung entfernt.
ChatGPT: 1 Punkt
Gemini: 3 Punkte
Deepseek: 1 Punkt
7.4. Lösen von statischen Aufgaben¶
Als nächsten Versuch haben wir die KI Modelle mit einer statistischen Aufgabe konfrontiert.
Die Modelle erhielten ein Bild (s. 54/6_AI_Vergleiche/Statistik_Aufgabe.jpg) und den Prompt: „Löse die Aufgabe.“. Auf dem Bild ist ein Aufgabentext mit einer Tabelle erhalten.
Die Aufgabe auf dem Bild besteht darin die OWG, UWG, OEG und UEG zu berechnen.
Die Modelle konnten alle die richtigen Informationen aus dem Bild auslesen und einen Lösungsansatz bieten. ChatGPT schnitt hierbei am schlechtesten ab, da es nicht die richtige Formel verwendet. Gemini und Deepseek haben die gleichen Ergebnisse rechnen jedoch mit den gerundeten z-Werten 2 und 3 anstelle des richtigen Wertes 1,96 und 2,576. Somit sind diese bei der Berechnung der Warngrenzen relativ nah an den richtigen Ergebnissen. Bei der Berechnung der Eingriffsgrenzen weichen die Ergebnisse stärker ab.
Punkteverteilung
ChatGPT: 1 Punkt
Gemini: 2 Punkte
Deepseek: 2 Punkte
7.5. Erstellung und Analyse von Bildern¶
Bei diesem Versuch wurden zwei Teilversuche durchgeführt. Im ersten Teil wurden die KI-Modelle mit einem Screenshot des Musterstundenplans unseres Studiengangs und dem folgenden Prompt gefüttert: „Kannst du die Informationen aufschlüsseln und alle CPs zusammen rechnen?“. Daraufhin ergab sich folgendes Ergebnis: ChatGPT und Gemini analysierten das Bild korrekt und gaben ausführliche und korrekte Antworten zurück. DeepSeek dagegen scheiterte an der Analyse des Screenshots. Die Ergebnisse sind im 54/6_AI_Vergleiche/Bild_Analyse.md zu finden.
Daher werden folgende Punkte in diesem Teilversuch vergeben:
ChatGPT: 3 Punkte
Gemini: 3 Punkte
DeepSeek: 0 Punkte
Der zweite Teilversuch beschäftigte sich mit der Generierung von Bildern. Hierbei wurde den KI-Modellen der Prompt „Erstelle ein Bild von einem Laptop mit Python Code auf dem Display.“ gegeben. Die generierten Bilder sind im 54/6_AI_Vergleiche/Bild_<<Modellname>> zu finden. Hierbei haben ChatGPT und Gemini zwei ähnliche Bilder generiert, welche sich in Hauptsächlich zwei Punkten unterscheiden. Zum einen ist der Python-Code nur bei ChatGPT lesbar, allerdings hat die Erstellung des ChatGPT-Bildes aber auch deutlich länger gedauert. DeepSeek dagegen war überhaupt nicht in der Lage eimn Bild zu generieren und gab nur einen möglichen Prompt für andere KIs aus.
Daraus erfolgt folgende Bewertung:
ChatGPT: 3 Punkte
Gemini: 2 Punkte
DeepSeek: 0 Punkte
7.6. Aktualität von Informationen¶
Im letzten Versuch wurde die Aktualität der Informationen der KI-Modelle getestet. Hierbei wurden den Modellen verschiedene Fragen gestellt und die Antworten verglichen. Ein Auszug aus diesen Fragen lautetet:
„Wann wurde Python 3.12 veröffentlicht?“
„Wer ist aktuell Präsident von Argentinien?“
„Wie viele Einwohner hat Indien im Jahr 2024 laut Schätzungen?“
„Auf welchem Modell basiert du?“
Hierbei konnte beobachtet werden, dass alle drei Modelle durchwegs aktuelle Informatioinen liefern konnten. Vorteilhaft bei Gemini und ChatGPT ist, dass die Quellen der Informationen angegeben werden. Die einzige Frage bei der ein Unterschied festgestellt werden konnte, ist die folgende:
„Auf welchem Modell basiert du?“
Nur ChatGPT und DeepSeek waren in der Lage diese Frage zu beantworten. DeepSeek gab an, dass es auf dem Modell „DeepSeek-V3“ basiert, während ChatGPT angab, dass es auf dem GPT-4o-Modell Modell basiert. Gemini konnte diese Frage auch auf Nachfrage nicht beantworten.
Daraus ergibt sich folgende Punkteverteilung:
ChatGPT: 3 Punkte
Gemini: 2 Punkte
DeepSeek: 3 Punkte
7.7. Fazit¶
Insgesamt haben die Modelle in den Versuchen unterschiedlich gut abgeschnitten. Allerdings ist eine Tendenz zu erkennen, dass das Modell, welches am längsten am Markt ist, auch die qualitativ besten Ergebnisse liefert. Es scheint jedoch so, dss jedes der Modelle seine Stärken und Schwächen hat. Daher ist es schwierig zu sagen, welches Modell das Beste ist, sondern es kommt eher auf den Anwendungsfall an. Dies zeigt sich auch in den Ergebnissen der Versuche. Der finale Puntestand der Modelle ist:
ChatGPT: 12 Punkte
Gemini: 14 Punkte
DeepSeek: 9 Punkte