---
title: AI Literacy - Towards Measuring Human Competency in Artificial Intelligence
authors:
  - Marc Pinski
  - Alexander Benlian
year: 2023
type: conferencePaper
doi: 10.24251/HICSS.2023.021
url: "http://hdl.handle.net/10125/102649"
tags:
  - paper
llm_decision: Exclude
llm_confidence: 0.85
llm_categories:
  - AI_Literacies
human_decision: Exclude
human_categories:
  - AI_Literacies
  - KI_Sonstige
agreement: agree
---

# AI Literacy - Towards Measuring Human Competency in Artificial Intelligence

## Transformation Trail

### Stufe 1: Extraktion & Klassifikation (LLM)

**Extrahierte Kategorien:** AI_Literacies, KI_Sonstige, Fairness
**Argumente:** 3 extrahiert

### Stufe 3: Verifikation (LLM)

| Metrik | Score |
|--------|-------|
| Completeness | 92 |
| Correctness | 98 |
| Category Validation | 95 |
| **Overall Confidence** | **95** |

### Stufe 4: Assessment

**LLM:** Exclude (Confidence: 0.85)
**Human:** Exclude

## Key Concepts

- [[AI Literacy]]
- [[Human-AI Collaboration]]
- [[Measurement Instrument Development]]

## Wissensdokument

# AI Literacy - Towards Measuring Human Competency in Artificial Intelligence

## Kernbefund

Entwicklung und Validierung eines 13-Item-Messinstruments für allgemeine AI Literacy mit 5 Dimensionen, das sowohl explizites Wissen als auch tacit knowledge und Erfahrung (Nutzung und Design) erfasst

## Forschungsfrage

Wie können die socio-technischen Kompetenzen von Menschen im Umgang mit künstlicher Intelligenz konzeptualisiert und gemessen werden?

## Methodik

Mixed Methods: Systematische Literaturreview, 5 Expertinterviews, zwei Runden Card Sorting (n=6 und n=5 Richter), Pre-Test-Studie (n=50 Teilnehmer) mit Strukturgleichungsmodellierung
**Datenbasis:** 50 Teilnehmer in Pre-Test-Studie, 5 Experten in Interviews, 6 und 5 Richter in zwei Card-Sorting-Runden

## Hauptargumente

- Bisherige IS-Kompetenzforschung ist nicht auf AI-Technologie anwendbar, da AI durch autonome Agentivität, Lernfähigkeit und Intransparenz grundlegend unterschiedliche Annahmen erfordert als traditionelle IT-Systeme.
- AI Literacy muss als socio-technisches Konstrukt verstanden werden, das explizites Wissen (über AI-Technologie, menschliche Akteure, AI-Schritte) und tacit knowledge (Nutzungs- und Design-Erfahrung) umfasst.
- Ein rollenunabhängiges, allgemeines Messinstrument für AI Literacy ist notwendig, um Kompetenzen vergleichbar über verschiedene organisationale Funktionen (R&D, Sales, etc.) hinweg bewerten zu können.

## Kategorie-Evidenz

### Evidenz 1

Hauptfokus des Papers: 'we set out to develop a measurement instrument (scale) for general AI literacy, that is humans' socio-technical competencies regarding AI'. Definiert AI Literacy als Wissen und Erfahrung mit fünf Dimensionen (Technology Knowledge, Human Actors Knowledge, AI Steps Knowledge, Usage Experience, Design Experience).

### Evidenz 2

Behandelt KI allgemein (Machine Learning, Neural Networks, autonome Systeme) nicht generativ: 'Berente et al. (2021) provide a concise view that distinguishes AI from non-AI technology by conceptualizing three unique facets of AI: autonomy, learning, and inscrutability'.

### Evidenz 3

Thematisiert implizit Fair-AI durch Dimension 'AI ethics' und Fähigkeit, AI-Outputs angemessen zu bewerten: 'Higher-order thinking skills (e.g., evaluate, appraise, predict, design) with AI applications' und 'Human-centered considerations (e.g., fairness, accountability, transparency, ethics, safety)'.

## Assessment-Relevanz

**Domain Fit:** Das Paper ist für die Schnittstelle AI/Soziale Arbeit nur mittelbar relevant. Es entwickelt ein generisches Messinstrument für AI-Kompetenzen, das potenziell auf Sozialarbeiter als spezifische Berufsgruppe angewendet werden könnte, behandelt Soziale Arbeit aber nicht explizit als Anwendungsfeld.

**Unique Contribution:** Erste validierte, rollenunabhängige Messskala für allgemeine AI Literacy im IS-Kontext, die explizites Wissen und tacit knowledge integriert und auf revidierten IS-Annahmen zu AI-Eigenschaften basiert.

**Limitations:** Paper behandelt Soziale Arbeit nicht; Sample in Pre-Test ist klein (n=50) und technisch-affin (tägliche Tech-Nutzung, Programmierkentnisse vorausgesetzt); keine Langzeitstabilität oder Kriteriumsvalidität getestet; keine explizite Geschlechts- oder Diversitätsperspektive.

**Target Group:** KI-Forscher und Information-Systems-Wissenschaftler, Organisationen zur Bewertung von AI-Kompetenzen in verschiedenen Abteilungen, Bildungsinstitutionen zur Curriculumsbewertung, HR-Praktiker zur Anforderungsanalyse von AI-bezogenen Positionen

## Schlüsselreferenzen

- [[Berente_et_al_2021]] - AI Theorizing in IS Research
- [[Schuetz_Venkatesh_2020]] - The Rise of Human Machines: Broken IS Assumptions
- [[Bassellier_et_al_2003]] - Human IS Competencies and Performance
- [[Long_Magerko_2020]] - What is AI Literacy? Competencies and Design Considerations
- [[Heyder_Posegga_2021]] - Functional, Critical, and Sociocultural AI Literacy
- [[Ng_et_al_2021]] - AI Literacy Skill Types: Know, Use, Evaluate, Ethics
- [[Baird_Maruping_2021]] - AI Agentic Role and Human-AI Collaboration
- [[Tarafdar_et_al_2022]] - Algorithms as Co-workers: Human-Algorithm Role Interactions
- [[Wang_et_al_2022]] - Measuring User Competence in Using AI
- [[MacKenzie_et_al_2011]] - Construct Measurement and Validation in MIS Research
