---
title: "Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale"
authors:
  - Bingcheng Wang
  - Pei-Luen Patrick Rau
  - Tianyi Yuan
year: 2023
type: journalArticle
doi: 10.1080/0144929X.2022.2072768
url: "https://www.tandfonline.com/doi/full/10.1080/0144929X.2022.2072768"
tags:
  - paper
llm_decision: Exclude
llm_confidence: 0.85
llm_categories:
  - AI_Literacies
human_decision: Exclude
human_categories:
  - AI_Literacies
  - KI_Sonstige
agreement: agree
---

# Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale

## Transformation Trail

### Stufe 1: Extraktion & Klassifikation (LLM)

**Extrahierte Kategorien:** AI_Literacies, KI_Sonstige
**Argumente:** 3 extrahiert

### Stufe 3: Verifikation (LLM)

| Metrik | Score |
|--------|-------|
| Completeness | 92 |
| Correctness | 98 |
| Category Validation | 95 |
| **Overall Confidence** | **93** |

### Stufe 4: Assessment

**LLM:** Exclude (Confidence: 0.85)
**Human:** Exclude

## Key Concepts

- [[AI Literacy]]
- [[Digital Literacy]]

## Wissensdokument

# Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale

## Kernbefund

Entwicklung und Validierung einer 12-Item-Skala (AILS - Artificial Intelligence Literacy Scale) mit vier stabilen Konstrukten (Awareness, Usage, Evaluation, Ethics), die Benutzer:innenkompetenz in KI-Nutzung reliabel und valide misst.

## Forschungsfrage

Wie kann die Kompetenz von Benutzer:innen im Umgang mit KI-Technologie zuverlässig und valide gemessen werden?

## Methodik

Empirisch - Quantitative Skalenkonstruktion mittels exploratorischer Faktorenanalyse (EFA), bestätigender Faktorenanalyse (CFA), Reliabilität- und Validitätstests basierend auf zwei Stichproben (Sample 1: Item-Reduktion, Sample 2: Validierung)
**Datenbasis:** Zwei Survey-Stichproben mit je ca. 300-400 Teilnehmenden; insgesamt 65 initiale Items, reduziert auf 12 Items

## Hauptargumente

- KI-Kompetenz ist zentral für die Interaktion mit KI-Systemen, da die Literalität eines Produkts das mentale Modell und die Interaktionsprozesse prägt - bisherige Messungen durch Vorerfahrung und Nutzungshäufigkeit sind unzureichend.
- Das vierdimensionale Modell (Awareness, Usage, Evaluation, Ethics) basiert auf etablierten Konzepten der Digital Literacy und berücksichtigt sowohl technische als auch ethische Dimensionen der KI-Nutzung.
- Die entwickelte Skala zeigt signifikante Zusammenhänge mit Digital Literacy, Roboter-Einstellungen und täglicher KI-Nutzung, wodurch deren praktische Validität und Anwendbarkeit für Human-AI Interaction-Forschung und KI-Produktdesign nachgewiesen wird.

## Kategorie-Evidenz

### Evidenz 1

AI literacy refers to the ability to properly identify, use, and evaluate AI-related products under the premise of ethical standards. The paper develops a 12-item scale measuring four core constructs: awareness, usage, evaluation, and ethics.

### Evidenz 2

The study examines human-AI interactions (HAII), human-robot interaction, smart devices, and AI-embedded applications as the broader context for understanding user competence with AI systems.

## Assessment-Relevanz

**Domain Fit:** Das Paper hat begrenzte Relevanz für die Schnittstelle KI-Literalität und Soziale Arbeit. Es adressiert KI-Kompetenzmessung für Allgemeinnutzer:innen, berücksichtigt jedoch nicht spezifische Kontexte Sozialer Arbeit, vulnerable Populationen oder sozialarbeiterische Praxis.

**Unique Contribution:** Erste psychometrisch validierte und testgetestete Skala zur Messung von KI-Literalität in der Allgemeinbevölkerung, basierend auf einem integrierten Vier-Konstrukt-Modell, das technische und ethische Dimensionen verbindet.

**Limitations:** Die Studie konzentriert sich auf individuelle Kompetenzen und berücksichtigt nicht strukturelle Ungleichheiten, unterschiedliche Zielgruppen oder kontextuelle Faktoren (z.B. Zugang, Ressourcen); keine Analyse von Geschlecht, Alter oder soziodemografischen Unterschieden.

**Target Group:** KI-Forscher:innen (HCI, HAII), KI-Produktdesigner:innen, Bildungsforscher:innen, Psychometriker:innen; begrenzte Relevanz für Sozialarbeiter:innen und Policymaker im Sozialbereich

## Schlüsselreferenzen

- [[Kandlhofer_et_al_2016]] - Artificial Intelligence and Computer Science in Education
- [[Long_Magerko_2020]] - What is AI Literacy? Competencies and Design Considerations
- [[Calvani_et_al_2008]] - Models and Instruments for Assessing Digital Competence at School
- [[Ferrari_2012]] - Digital Competence in Practice: An Analysis of Frameworks
- [[Wilson_Scalise_Gochyyev_2015]] - Rethinking ICT Literacy: From Computer Skills to Social Network Settings (KSAVE-Framework)
- [[Eshet_2004]] - Digital Literacy: A Conceptual Framework for Survival Skills in the Digital Era
- [[Gilster_Glister_1997]] - Digital Literacy
- [[Norman_2013]] - The Design of Everyday Things: Revised and Expanded Edition
- [[Hinkin_1998]] - A Brief Tutorial on the Development of Measures for Use in Survey Questionnaires
- [[Nomura_Kanda_Suzuki_2006]] - Negative Attitudes Toward Robots Scale (NARS)
