wcag_AI_validation/scripts/esercitazione_12_2025/README.md

14 lines
2.0 KiB
Markdown

# Folder structure
- [analisi_esercitazione_12_2025](analisi_esercitazione_12_2025) first notebook that includes similarities calculation and some basic EDA analysis
- [analisi_esercitazione_12_2025_advanced](analisi_esercitazione_12_2025_advanced) the notebook contains the analysis on language switch
- [analisi_esercitazione_12_2025_embedding](analisi_esercitazione_12_2025_embedding) the notebook builds a classifier on the semantic representation of the text generated by the LLM
- [analisi_esercitazione_12_2025_classificatore](analisi_esercitazione_12_2025_classificatore) the notebook builds a classifier based on some features related to user-LLM alt text similarities, text readibility, etc.
- [analisi_esercitazione_ricostruzione_associazioni](analisi_esercitazione_ricostruzione_associazioni) the notebook rebuilds the exercise dataset based on the DB dumbs from UI and backend microservices
- [analisi_esercitazione_12_2025_models_comparisons](analisi_esercitazione_12_2025_models_comparisons) starting from the rebuild exercise dataset, the notebook performs some test switching LLM model and/or prompt (also english translation)
- [analisi_esercitazione_12_2025_build_full_dataset](analisi_esercitazione_12_2025_build_full_dataset) rerun all the features building using pandas apply
- [analisi_esercitazione_12_2025_clip](analisi_esercitazione_12_2025_clip) run CLIP score calculation between image and alt-text
- [analisi_esercitazione_12_2025_inter_user_agreement](analisi_esercitazione_12_2025_inter_user_agreement) calculate inter-user agreements and inter LLM runs agreements
- [analisi_esercitazione_12_2025_distributions_comparison](analisi_esercitazione_12_2025_distributions_comparison) perform some indicator calculations to compare two candidates distrubutions with a reference one
- [analisi_esercitazione_12_2025_classificatore_LLM](analisi_esercitazione_12_2025_classificatore_LLM) Evaluate LLM classifier performance on the original alt-text assessment (0-1 classification problem)