Impressum
Inhaltliche Verantwortlichkeit i. S. v. § 5 TMG und § 18 Abs. 2 MStV
Für die Richtigkeit und Aktualität der Inhalte sind die jeweiligen Erstellerinnen und Ersteller der einzelnen Seiten verantwortlich.
Prof. Dr. Florian Berding
Fakultät für Erziehungswissenschaft
Fachbereich 3: Berufliche Bildung und Lebenslanges Lernen
Arbeitsgruppe für Berufs- und Wirtschaftspädagogik
Sedanstraße 19
20146 Hamburg
Telefon: +49(0) 40 42838-3728
Technische Verantwortlichkeit
Prof. Dr. Florian Berding
Fakultät für Erziehungswissenschaft
Fachbereich 3: Berufliche Bildung und Lebenslanges Lernen
Arbeitsgruppe für Berufs- und Wirtschaftspädagogik
Sedanstraße 19
20146 Hamburg
Telefon: +49(0) 40 42838-3728
Zentrale Adresse der Universität Hamburg
Universität Hamburg
Mittelweg 177
20148 Hamburg
Deutschland
Tel.: +49 40 42838-0
Fax: +49 40 42838-9586
Rechtsform und gesetzliche Vertretung
Die Universität Hamburg ist eine Körperschaft des Öffentlichen Rechts. Sie wird gesetzlich vertreten durch Univ.-Prof. Dr. Hauke Heekeren, Präsident der Universität Hamburg, Mittelweg 177, 20148 Hamburg. Zuständige Aufsichtsbehörde
Behörde für Wissenschaft, Forschung, Gleichstellung und Bezirke der Freien und Hansestadt Hamburg Hamburger Straße 37, 22083 Hamburg
Umsatzsteueridentifikationsnummer
DE 245 584 140
Das Team hinter EDDA
Unter Mitarbeit von
- Melina Heyer
- Jennifer Pryzwara
- Lukas Streckwall
Wahl des Merkmals
Bitte wählen Sie den Teilaspekt der Künstlichen Intelligenz aus, zu dem Sie weitere Informationen erhalten möchten.
Grunddaten
Trainingsdaten
Reliabilität für die Individual Diagnostik
Die folgende Grafik zeigt die Wahrscheilichkeit mit der die KI einen Entwurf oder ein Material einer bestimmten Kategorie als solche erkennt. Hat beispielsweise die Kategorie 0 einen Wert von 25 % bedeutet dies, dass die KI einen Entwurf oder ein Material der Stufe 0 in 25 % der Fälle als Stufe 0 erkennt. In 75 % der Fälle wird die Kategorie nicht korrekt erkannt und der Entwurf bzw. das Material einer anderen Kategorie zugeordnet.
Je höher der Wert desto zuverlässiger ist die Einschätzung der KI.
Dieser Wert ist unabhängig von der größe der Kategorie in der Grundgesamtheit interpretierbar.
Hinweis: Bei den dargestellten Werten handelt es sich um die sog. Alpha-Reliabilität aus dem Iota-Reliabilitätskonzept der zweiten Generation. Tiefergehende Informationen finden Sie bei Berding und Pargmann (2022).
Reliabilität auf Ebene der Kategorien
Die nachfolgende Grafik stellt die Iota-Reliabilität der KI dar. Im Gegensatz zur Alpha-Reliabilität wird hier berücksichtigt, wie groß die Kategorie in der Grundgesamtheit ist. Das bedeutet es wird berücksichtigt, wie viele Entwürfe und Materialien die Stufe 0, 1, 2 usw. aufweisen.
Die grüne Fläche in der Grafik entspricht dabei der Iota-Reliabilität der jeweiligen Kategorie. Dieser Wert kann zwischen 0 und 1 varrieren, wobei höhere Werte für eine bessere Zuverlässigkeit stehen. Der Iota-Wert bzw. die grüne Fläche gibt den Anteil in den Daten einer Kategorie an, die korrekt eingeschätzt wurden.
Die gelbe Fläche stellt den Iota-Fehler Typ I an. Dieser ist ein Maß dafür, in welchem Umfang Fälle einer Kategorie im Datenmaterial der Kategorie vergessen wurden. Je größer dieser Wert bzw. je größer die gelbe Fläche, desto mehr Fällen werden im Datenmaterial dieser Kategorie vergessen.
Die rote Fläche beschreibt den Iota-Fehler Typ II. Dieser gibt an, in welchem Ausmaß Fehler in den anderen Kategorien das Datenmaterial der betrachteten Kategorie verzerren. Je größer dieser Wert ist bzw. je größer die rote Fläche ist, desto mehr Fälle werden als die betrachtete Kategorien ausgegeben, obwohl sie in Wahrheit irgendeiner anderen Kategorien angehören.
Achtung: Die oben dargestellten Werte hängen von der Größe der Kategorie in der Grundgesamtheit ab.
Kodier-Fluss-Diagramm
Das Kodier-Fluss-Diagramm ist eine andere Darstellung der Reliabilität. Es zeigt auf, wie die KI die wahre Kategorie eines Entwurfs bzw. eines Unterrichtsmaterials den verschiedenen Kategorien zuordnet. Das Diagramm muss von rechts nach links gelesen werden. Auf der linken Seite finden Sie die wahren Kategorien. Die größe der Rechtecke entspricht dabei der relativen Häufigkeit der Kategorien in der Grundgesamtheit. Von diesen Rechtecken gehen jeweils 'Ströme' zu den zugeordneten Kategorien. Dies erlaubt es nachzuvollziehen, wie sich die zugeordneten Daten zusammensetzen.
Weitere Erläuterungen dazu finden Sie hier.
Reliabilität auf Ebene der Skala
Neben der Reliabilität auf der Ebene der einzelnen Kategorien sind in der Regel auch Informationen über die Zuverlässigkeit der Skala insgesamt wichtig. Die nachfolgende Tabelle stellt dazu wichtige Kennzahlen dar.
Die Grenzwerte für die Reliabilität auf der Skalenebene unterscheiden sich von Kennwert für Kennwert. Zu beachten ist auch, dass aktuell in der Literatur zur Inhaltsanalyse disikutiert wird, in welchem Ausmaß die verschiedenen Kennzahlen geeignete Maßstäbe für die Reliabilität sind. Die gilt vor allem für die verschiedenen Varianten von Krippendorffs Alpha und der prozentualen Übereinstimmung. Literaturvorschläge hierzu finden Sie auf dieser Seite.
Literatur zur Vertiefung
- Florian Berding and Julia Pargmann (2022). Iota Reliability Concept of the Second Generation. Measures for Content Analysis Done by Humans or Artificial Intelligence. Berlin: Logos. https://doi.org/10.30819/5581
- Florian Berding, Elisabeth Riebenbauer, Simone Stuetz, Heike Jahncke, Andreas Slopinski, and Karin Rebmann (2022). Performance and Configuration of Artificial Intelligence in Educational Settings. Introducing a New Reliability Concept Based on Content Analysis. Frontiers in Education. https://doi.org/10.3389/feduc.2022.818365
- Klaus Krippendorff (2019). Content Analysis: An Introduction to Its Methodology (4th Ed.). SAGE.
- Xinshu Zhao, Jun S. Liu, and Ke Deng (2013). Assumptions behind Intercoder Reliability Indices. Annals of the International Communication Association. 36(1), 419-480. https://doi.org/10.1080/23808985.2013.11679142
EDDA - Elektronisch-didaktische Assistenz
Version 2.1.0
Herzlich Willkommen
Edda steht für elektronisch-didaktische Assistenz und ist eine Plattform zur Analyse von Unterrichtsentwürfen und Unterrichtsmaterial für das Lehramt an berufsbildenden Schulen. Im Moment unterstützt die Plattform wirtschaftliche Themenfelder. Sie kann zur Analyse von Unterrichtsentwürfen, aber auch zur Analyse des Unterrichtsmaterials genutzt werden. Auf diese Weise lässt sich z. B. die Kohärenz zwischen Planung und Material testen.
Die Plattform richtet sich an Lehramtsstudierende, Referendarinnen und Referendare sowie an ausgebildete Lehrkräfte, um ihnen ein Feedback zu den Planungen zu ermöglichen und Unterricht zu verbessern. Die Ergebnisse der Plattform dürfen nicht für die Benotung von Entwürfen bzw. Material genutzt werden.
Um mit der Analyse zu starten, können Sie nun einen Entwurf und Material hochladen.
1. Hochladen des Entwurfs
Bei dem Entwurf muss es sich um eine .pdf-Datei handeln. Zudem sollte in der Datei nur die Analyse der Voraussetzungen, die eigentliche Unterrichtsplanung sowie der Verlaufsplan enthalten sein. Unterrichtsmaterial, wie z. B. Arbeitsblätter, Aufgaben usw. sollten Sie separat hochladen, um korrekte Ergebnisse zu ermöglichen und das Potential der Analysen voll auszuschöpfen.
2. Wählen Sie die Bereiche aus, die analysiert werden sollen.
3. Hochladen ergänzender Materialien
Alle Materialen müssen als .pdf-Datei hochgeladen werden. Für jedes Material, für welches Sie eine gesonderte Auswertung wünschen, ist eine eigene .pdf-Datei hochzuladen. Dafür stehen Ihnen die folgenden vier Slots zur Verfügung.
Das Hochladen von Materialien ist optional. Sie können Edda auch nur mit dem Unterrichtsentwurf nutzen.
Achtung
Das Ziel von EDDA ist es, Sie in Ihrer Unterrichtsplanung zu unterstützen und Ihre Fähigkeit zur begründeten Gestaltung von Unterricht zu fördern. Aus diesem Grund generiert EDDA keine fertigen Entwürfe, sondern gibt Vorschläge und Anregungen. Es liegt in Ihrer Verantwortung diese Vorschläge kritisch zu prüfen und ggf. für Unterricht zu nutzen.
4. Start der Analysen
Um die Analyse zu starten, klicken Sie nun auf 'Analyse beginnen'. Damit die Analyse beginnen kann, müssen Sie zuvor der Datenverarbeitung einwilligen. Diese finden Sie hier: Erklärung zur Datenverarbeitung