REGIAN GUSTI FADILLAH, . (2025) IMPLEMENTASI MODEL OPENAI GPT-4O VISION UNTUK PENILAIAN OTOMATIS PROYEK INFOGRAFIS BERBASIS RUBRIK PADA MATA PELAJARAN GEOGRAFI. Sarjana thesis, Universitas Negeri Jakarta.
 | There is a more recent version of this item available. |
![[img]](http://repository.unj.ac.id/style/images/fileicons/text.png) |
Text
01 COVER.pdf Download (644kB) |
|
Text
02 BAB 1.pdf Download (386kB) |
|
Text
03 BAB 2.pdf Restricted to Registered users only Download (472kB) |
|
Text
04 BAB 3.pdf Restricted to Registered users only Download (488kB) |
|
Text
05 BAB 4.pdf Restricted to Registered users only Download (762kB) |
|
Text
06 BAB 5.pdf Restricted to Registered users only Download (410kB) |
|
Text
07 DAFTAR PUSTAKA.pdf Download (347kB) |
|
Text
08 LAMPIRAN.pdf Restricted to Registered users only Download (1MB) |
Abstract
Seiring meningkatnya penggunaan tugas proyek visual seperti infografis dalam pendidikan, tantangan penilaian yang objektif dan konsisten menjadi semakin krusial, terutama dalam mata pelajaran Geografi yang menuntut evaluasi analisis spasial yang kompleks. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi sistem penilaian otomatis berbasis rubrik untuk proyek infografis Geografi, dengan memanfaatkan kemampuan model multimodal OpenAI GPT-4o Vision. Metodologi penelitian melibatkan pengembangan sistem dan pengujian performanya menggunakan Mean Absolute Error (MAE) untuk mengukur keakuratan serta Intraclass Correlation Coefficient (ICC) untuk mengukur reliabilitas sistem dalam mereplikasi penilaian manual. Hasil pengujian menunjukkan nilai Mean Absolute Error (MAE) sebesar 3.87. Namun, ketika dibandingkan dengan model dasar (baseline) yang memprediksi nilai median, sistem penilaian menunjukkan tingkat kesalahan yang lebih tinggi (MAE baseline = 1.42). Reliabilitas sistem berada pada kategori "Moderate Agreement" dengan nilai ICC sebesar 0.564. Analisis lebih lanjut menunjukkan bahwa tingkat reliabilitas yang moderat ini disebabkan oleh tantangan sistem dalam menilai kriteria visual-estetika yang subjektif secara konsisten. Meskipun demikian, sistem penilaian otomatis ini menunjukkan potensi signifikan sebagai alat bantu penilaian. Untuk optimalisasi di masa mendatang, disarankan untuk menyempurnakan deskripsi rubrik, mengintegrasikan mekanisme human-in-the-loop, menggunakan sistem deteksi yang lebih andal dan mempertimbangkan penggunaan model LLM serta Vision yang lebih mutakhir. ***** As the use of visual project-based assignments like infographics increases in education, the challenge of objective and consistent assessment becomes more crucial, especially in Geography, which demands the evaluation of complex spatial analysis. This research aims to develop and evaluate a rubric-based automated assessment system for Geography infographic projects by leveraging the capabilities of the multimodal OpenAI GPT-4o Vision model. The research methodology involved system development and performance testing using Mean Absolute Error (MAE) to measure accuracy and Intraclass Correlation Coefficient (ICC) to measure the system's reliability in replicating manual assessment. The test results show a Mean Absolute Error (MAE) value of 3.87. However, when compared to a baseline model predicting the median score, the AI system exhibited a higher error rate (baseline MAE = 1.42). The system's reliability was in the "Moderate Agreement" category with an ICC value of 0.564. Further analysis indicates that this moderate reliability is due to the system's challenges in consistently assessing subjective visual-aesthetic criteria. Nevertheless, this automated assessment system shows significant potential as an assessment support tool. For future optimization, it is recommended to refine rubric descriptions, integrate a human-in-the-loop mechanism, use more robust detection system and consider the use of more advanced LLM and Vision models.
| Item Type: | Thesis (Sarjana) |
|---|---|
| Additional Information: | 1). Dr. Ode Sofyan Hardi, S.Pd., M.Si., M.Pd. ; 2). Prof. Dr. Cahyadi Setiawan, S.Si., M.Si. |
| Subjects: | Pendidikan > Evaluasi Pendidikan Geografi, Antropologi > Geografi |
| Divisions: | FIS > S1 Pendidikan Geografi |
| Depositing User: | Users 29365 not found. |
| Date Deposited: | 07 Aug 2025 07:17 |
| Last Modified: | 07 Aug 2025 07:17 |
| URI: | http://repository.unj.ac.id/id/eprint/58841 |
Available Versions of this Item
-
Implementasi Model OpenAI GPT-4o Vision Untuk Penilaian Otomatis Proyek Infografis Berbasis Rubrik pada Mata Pelajaran Geografi. (deposited 07 Aug 2025 04:47)
- IMPLEMENTASI MODEL OPENAI GPT-4O VISION UNTUK PENILAIAN OTOMATIS PROYEK INFOGRAFIS BERBASIS RUBRIK PADA MATA PELAJARAN GEOGRAFI. (deposited 07 Aug 2025 07:17) [Currently Displayed]
Actions (login required)
 |
View Item |
