# 20241113 研討會論文會議記錄

##
- 論文要在Acknolwage部分提到政大以及中央實驗室的計畫
- 學長提議我們這邊寫中文，Emily寫英文
- 學長建議挑簡單的做(短的答案越簡單)，照 gpt4 techonical report，可以有不同的資料集，呈現的結果向下面那張圖
- [GPT-4 Technical Report](https://arxiv.org/abs/2303.08774)
- 建議看一下圖片中的資料集的題型
- 探討在中文國小自然科上，gpt對國小場域教學是否有起作用

## Abstract
[source](https://www.semafor.com/article/03/15/2023/how-gpt-4-performed-in-academic-exams)
:::spoiler 圖片點此
:::
> ### 考試類別： 表中列出了多種模擬考試，包括：
>專業認證：例如律師資格考試（Uniform Bar Exam）、法律學入學測試（LSAT）、研究生入學考試（GRE）等。
>高中和大學課程測驗：例如 SAT、高中進階課程測驗（AP）。
>專業性測試：例如美國數學競賽（AMC）、Leetcode 程式設計題目。
特殊領域測驗：例如品酒師認證（Intro Sommelier）。
>### 表現指標：
> 某些測驗的分數以百分比等級表示（如 SAT 和 AP 測驗）。
> 程式挑戰（如 Leetcode）的分數以成功完成題目的數量呈現，例如「31/41」代表在 41 題中完成 31 題。

## 使用資料集(一人看6個)
- [AP Calculus BC](https://apcentral.collegeboard.org/courses/ap-calculus-bc/exam/past-exam-questions): AP微積分
- Subject: 大學微積分，考試範圍較AP Calculus AB廣
- Format:
- Multiple Choice(45)
- Free Response(6): 題組，包含簡答與證明
:::spoiler Free Response Example
:::
- [AMC 12](https://artofproblemsolving.com/wiki/index.php/AMC_12_Problems_and_Solutions?srsltid=AfmBOopo1WvuiRq38JRjfRcJIyVFeOvKJ25qx7iJffwUynoJ7jjA6yqN): 美國數學競賽
- Subject: 針對中等學校學生的數學測驗，25題選擇題、考試時間75分鐘；包含演算概念理解的數學題型，不允許使用計算機。
- Format: Single Choice(25)
- [dataset](https://huggingface.co/datasets/hendrycks/competition_math)(including AMC12): Total 12500 examples
- Codeforces Rating
- 一個演算法競賽網站，rating代表參賽者的能力
- 跟leetcode一樣會有time memory limit
- 演算法題目，提供input及固定對應的output
- AP English Literature
- AP英國文學與作文
- 專為高中生 大學生 大學先修課程設計
- 包含詩歌戲劇小說散文 score 1~5
- Multiple choice 55題 5個選項
- Free Response 3題
- AMC 10
- 針對美國初中學生設計
- 25題選擇題
- 題目由簡單到困難
- 題目由簡單敘述、公式、圖片構成，選項五題，單選題。
:::spoiler Example
:::

- Uniform Bar Exam: 統一律師執照考試
- [Multistate Essay Examination (MEE)](https://www.ncbex.org/exams/mee/preparing-mee): 6題申論題題組
- [Multistate Performance Test (MPT)](https://www.ncbex.org/exams/mpt/preparing-mpt): 要求考生完成以下任務
- 整理詳細的事實資料，區分相關事實與不相關事實
- 分析法律、案例和行政資料以了解適用的法律原則
- 以可能解決客戶問題的方式將相關法律應用於相關事實
- 辨識並解決存在的道德兩難
- 以書面形式有效溝通
- 在規定的時間內完成律師任務
- [Multistate Bar Examination (MBE)](https://www.ncbex.org/exams/mbe/preparing-mbe): 200題單選題
- [USABO Semifinal 2020](https://www.usabo-trc.org/usabo-about-exams): 美國生物奧林匹克競賽
- Round 1: multiple-choice exam (Grades 9 to 12)
- Round 2:
- Single Choice
- Multiple True False questions
- short answer and/or essay
- Round 3:
- Practical (6 hrs): laboratory-based skills, techniques, data interpretation, and real-time laboratory competency exam involving conceptual understanding and problem solving
- Theoretical (3 hrs): multiple true/false choice questions and multiple choice involving interpretation of diagrams and graphs, integration of information, and data analysis
- AP Microeconomics
[個體經濟學](https://en.wikipedia.org/wiki/AP_Microeconomics)
- 選擇題60題 占比66.7%
- 長的開放式問題 1題
- 短的開放式問題 2題
網路上只有問答題的題目，每題會以多個小題呈現，有評分標準但沒有標準答案
- [SAT Math](https://huggingface.co/datasets/dmayhem93/agieval-sat-math)
- 美國高中學測數學考題
- 單選

- GRE Quantitative：
[ChatGPT Performance on Standardized Testing
Exam –A Proposed Strategy for Learners](https://arxiv.org/pdf/2309.14519)
- [AP Statistic](https://apstudents.collegeboard.org/courses/ap-statistics/assessment)
- Mutiple choice (單一一題、題組題)
- free response question
- SAT Evidence-Based Reading and Writing
- [AP English Language](https://apstudents.collegeboard.org/courses/ap-english-language-and-composition/assessment)
- Have Four Answer Choices
- [AP English Literature](https://apcentral.collegeboard.org/courses/ap-english-literature-and-composition/exam)
- Have Four Answer Choices
- [LSAT](https://www.lsac.org/lsat/prepare/types-lsat-questions)
- Multiple-Choice、Writing
- GRE Writing
- GRE 考試的全名是「Graduate Record Examination」，是由 GRE 委員會委託 ETS 美國教育測驗服務社所舉辦，GRE 考試主要的目的是要確保學生是否有能力可以讀研究所，可以應付之後的英語教學課程。
- 題型:
- Analytical Writing: 舉證、解釋、分析的申論題
- Verbal Reasoning(語文): 填空題、單選題、配合題
- Quantitative Reasoning(計算): 單選，在考數學
- Uniform Bar Exam
- 標準律師考試
- 多州律師資格考試(MBE) 50%
- 200 個問題的多項選擇考試
- 評估考生應用基本法律原則、進行法律推理和分析事實模式的能力
- 單選 四個選項
- 

- 多州論文考試 (MEE) 30%
- 6 道 30 分鐘的題目
- 考作文
- 多州效能測試 (MPT) 20%
- [AP World History](https://apcentral.collegeboard.org/courses/ap-world-history/exam/past-exam-questions)
- Multiple Choice、Short Answer、Document-Based Question (DBQ)、Long Essay

- [AP Chemistry](https://apstudents.collegeboard.org/courses/ap-chemistry/assessment)
- Multiple Choice、Short Answer、long answer

- [AP Physics 2](https://apstudents.collegeboard.org/courses/ap-physics-2-algebra-based/assessment)
- Multiple Choice、free-response questions
- [AP Art History](https://apstudents.collegeboard.org/courses/ap-art-history/assessment)
- Multiple Choice(題組題、可能包含圖片)、Long & short Essay(可能包含圖片)
- [AP Computer Science A](https://apstudents.collegeboard.org/courses/ap-computer-science-a/assessment)
- Multiple Choice(單一一題、或題組題)、free-response question
- [AP Environmental Science](https://apstudents.collegeboard.org/courses/ap-environmental-science/assessment)
- Multiple Choice(單一一題或題組題) 包含表格、圖片、文字資訊...
- free-response question