---
# System prepended metadata

title: 20241113 研討會論文會議記錄
tags: [九州研討會]

---

# 20241113 研討會論文會議記錄

## 
- 論文要在Acknolwage部分提到政大以及中央實驗室的計畫
- 學長提議我們這邊寫中文，Emily寫英文
- 學長建議挑簡單的做(短的答案越簡單)，照 gpt4 techonical report，可以有不同的資料集，呈現的結果向下面那張圖
- [GPT-4 Technical Report](https://arxiv.org/abs/2303.08774)
![image](https://hackmd.io/_uploads/HkYlv_Vfkx.png)
- 建議看一下圖片中的資料集的題型
- 探討在中文國小自然科上，gpt對國小場域教學是否有起作用

## Abstract
[source](https://www.semafor.com/article/03/15/2023/how-gpt-4-performed-in-academic-exams)
:::spoiler 圖片點此
![image](https://hackmd.io/_uploads/HJfBIC9f1l.png)
![image](https://hackmd.io/_uploads/By_1eeoM1g.png)
:::
> ### 考試類別： 表中列出了多種模擬考試，包括：
>專業認證：例如律師資格考試（Uniform Bar Exam）、法律學入學測試（LSAT）、研究生入學考試（GRE）等。
>高中和大學課程測驗：例如 SAT、高中進階課程測驗（AP）。
>專業性測試：例如美國數學競賽（AMC）、Leetcode 程式設計題目。
特殊領域測驗：例如品酒師認證（Intro Sommelier）。
>### 表現指標：
> 某些測驗的分數以百分比等級表示（如 SAT 和 AP 測驗）。
> 程式挑戰（如 Leetcode）的分數以成功完成題目的數量呈現，例如「31/41」代表在 41 題中完成 31 題。

## 使用資料集(一人看6個)
- [AP Calculus BC](https://apcentral.collegeboard.org/courses/ap-calculus-bc/exam/past-exam-questions): AP微積分
    - Subject: 大學微積分，考試範圍較AP Calculus AB廣
    - Format: 
        - Multiple Choice(45)
        - Free Response(6): 題組，包含簡答與證明
:::spoiler Free Response Example
![image](https://hackmd.io/_uploads/Sk9LH05zJe.png)
:::
- [AMC 12](https://artofproblemsolving.com/wiki/index.php/AMC_12_Problems_and_Solutions?srsltid=AfmBOopo1WvuiRq38JRjfRcJIyVFeOvKJ25qx7iJffwUynoJ7jjA6yqN): 美國數學競賽
    - Subject: 針對中等學校學生的數學測驗，25題選擇題、考試時間75分鐘；包含演算概念理解的數學題型，不允許使用計算機。
    - Format: Single Choice(25)
    - [dataset](https://huggingface.co/datasets/hendrycks/competition_math)(including AMC12): Total 12500 examples
- Codeforces Rating
    - 一個演算法競賽網站，rating代表參賽者的能力
    - 跟leetcode一樣會有time memory limit
    - 演算法題目，提供input及固定對應的output
- AP English Literature
    - AP英國文學與作文
    - 專為高中生 大學生 大學先修課程設計
    - 包含詩歌戲劇小說散文 score 1~5
    - Multiple choice 55題 5個選項
    - Free Response 3題
- AMC 10
    - 針對美國初中學生設計
    - 25題選擇題
    - 題目由簡單到困難
    - 題目由簡單敘述、公式、圖片構成，選項五題，單選題。
:::spoiler Example
![image](https://hackmd.io/_uploads/S1OHEGjfJl.png)
:::

- Uniform Bar Exam: 統一律師執照考試
    - [Multistate Essay Examination (MEE)](https://www.ncbex.org/exams/mee/preparing-mee): 6題申論題題組
    - [Multistate Performance Test (MPT)](https://www.ncbex.org/exams/mpt/preparing-mpt): 要求考生完成以下任務
        - 整理詳細的事實資料，區分相關事實與不相關事實
        - 分析法律、案例和行政資料以了解適用的法律原則
        - 以可能解決客戶問題的方式將相關法律應用於相關事實
        - 辨識並解決存在的道德兩難
        - 以書面形式有效溝通
        - 在規定的時間內完成律師任務
    - [Multistate Bar Examination (MBE)](https://www.ncbex.org/exams/mbe/preparing-mbe): 200題單選題
- [USABO Semifinal 2020](https://www.usabo-trc.org/usabo-about-exams): 美國生物奧林匹克競賽
    - Round 1: multiple-choice exam (Grades 9 to 12)
    - Round 2: 
        - Single Choice
        - Multiple True False questions
        - short answer and/or essay
    - Round 3: 
        - Practical (6 hrs):  laboratory-based skills, techniques, data interpretation, and real-time laboratory competency exam involving conceptual understanding and problem solving
        - Theoretical (3 hrs): multiple true/false choice questions and multiple choice involving interpretation of diagrams and graphs, integration of information, and data analysis
- AP Microeconomics
 [個體經濟學](https://en.wikipedia.org/wiki/AP_Microeconomics)
    - 選擇題60題 占比66.7%
    - 長的開放式問題 1題
    - 短的開放式問題 2題
網路上只有問答題的題目，每題會以多個小題呈現，有評分標準但沒有標準答案
- [SAT Math](https://huggingface.co/datasets/dmayhem93/agieval-sat-math)
    - 美國高中學測數學考題
    - 單選

- GRE Quantitative：
[ChatGPT Performance on Standardized Testing
Exam –A Proposed Strategy for Learners](https://arxiv.org/pdf/2309.14519)
- [AP Statistic](https://apstudents.collegeboard.org/courses/ap-statistics/assessment)
    - Mutiple choice (單一一題、題組題)
    - free response question
- SAT Evidence-Based Reading and Writing
- [AP English Language](https://apstudents.collegeboard.org/courses/ap-english-language-and-composition/assessment)
    - Have Four Answer Choices
- [AP English Literature](https://apcentral.collegeboard.org/courses/ap-english-literature-and-composition/exam)
    - Have Four Answer Choices
- [LSAT](https://www.lsac.org/lsat/prepare/types-lsat-questions)
    - Multiple-Choice、Writing
- GRE Writing
    - GRE 考試的全名是「Graduate Record Examination」，是由 GRE 委員會委託 ETS 美國教育測驗服務社所舉辦，GRE 考試主要的目的是要確保學生是否有能力可以讀研究所，可以應付之後的英語教學課程。
    - 題型:
        - Analytical Writing: 舉證、解釋、分析的申論題
        - Verbal Reasoning(語文): 填空題、單選題、配合題
        - Quantitative Reasoning(計算): 單選，在考數學
- Uniform Bar Exam
    - 標準律師考試
    - 多州律師資格考試(MBE) 50%
        - 200 個問題的多項選擇考試
        - 評估考生應用基本法律原則、進行法律推理和分析事實模式的能力
        - 單選 四個選項
        - ![image](https://hackmd.io/_uploads/SyNf-7ozyl.png)

    - 多州論文考試 (MEE) 30%
        -  6 道 30 分鐘的題目
        -  考作文
    - 多州效能測試 (MPT) 20%
- [AP World History](https://apcentral.collegeboard.org/courses/ap-world-history/exam/past-exam-questions)
    - Multiple Choice、Short Answer、Document-Based Question (DBQ)、Long Essay

- [AP Chemistry](https://apstudents.collegeboard.org/courses/ap-chemistry/assessment)
    - Multiple Choice、Short Answer、long answer

- [AP Physics 2](https://apstudents.collegeboard.org/courses/ap-physics-2-algebra-based/assessment)
    - Multiple Choice、free-response questions
- [AP Art History](https://apstudents.collegeboard.org/courses/ap-art-history/assessment)
    - Multiple Choice(題組題、可能包含圖片)、Long & short Essay(可能包含圖片)
- [AP Computer Science A](https://apstudents.collegeboard.org/courses/ap-computer-science-a/assessment)
    - Multiple Choice(單一一題、或題組題)、free-response question
- [AP Environmental Science](https://apstudents.collegeboard.org/courses/ap-environmental-science/assessment)
    - Multiple Choice(單一一題或題組題) 包含表格、圖片、文字資訊...
    - free-response question