TCOF Design

We designed an observation form called the teaching for creativity observation form
(TCOF) to capture the science teachers’ practices of teaching for creativity. Development of
the TCOF used different resources as guidance to build the four categories and 23 items (e.g.
Beghetto, 2007; Lee & Erdogan, 2007; Rutland & Barlex, 2008).

A. Questioning strategy (six items): This category focused on types of questions that
required students to generate ideas. Examples were divergent, problem-solving, and
follow-up questions (e.g. what if and why). This category also included items about first
and second wait times.
B. Teacher’s responses to students’ ideas (seven items): This category focused on how
teachers responded to students’ answers, queries, and requests in a way that reinforced
creative ideas, encouraged sharing of ideas, or asked for applications of ideas in real
situations.
C. Classroom activities to support creativity (seven items): This category focused on
various activities within science lessons that asked students to design experimental
procedures and to present data, findings, explanations, and reports creatively. This
category also focused on generating ideas for applications of knowledge, designing
innovative ways to summarize the lesson, and doing homework assignments.
D. Whole-lesson methods that foster creativity (three items): This category involved the
whole lesson as designed around a teaching method that was known for its potential to
promote students’ creativity and imagination.

We have described all items for each TCOF category in “Results and Discussion.” We
used a 3-point ordinal scale to rate each item:

 Excellent (3 points): Teacher conducts the target skill or technique expressed in the
item clearly and convincingly
 Moderate (2 points): Teacher conducts the target skill or technique expressed in the
item clearly but NOT convincingly
 Weak (1 point): The teacher conducts the target skill or technique expressed in the
item insufficiently OR does not practice the skill

Validity of the TOCF was conducted by a panel of 12 judges: three university

professors specialized in curriculum and instruction, two university professors specialized in
psychology, and seven science supervisors working at the Ministry of Education. We asked
panel members to verify that the form was appropriate for the purpose of the study and that
the items belonged to their assigned categories and were clear, readable, and accurate. Based
on their feedback, we rephrased some items, deleted one item, and separated one item into
two different items.

We used the inter-observer agreement to check the reliability of the TOCF.

Percentage of agreement is the most popular inter-observer agreement index (Watkins &
Pacheco, 2000). The three raters (two science supervisors and second author) met to discuss
the purpose of the TOCF, its categories and items, instructions on use in the classroom, and
definitions of the rating scales. Then, they observed together a lesson and used the form
independently, after which they met and discussed how they scored each item and to reach an
agreement on how each item should be evaluated-calibration of the form and use. Next, for a
period of 3 days, they attended together 12 different science lessons for 11 science teachers in
grades 5-10 in three different schools; these teachers were not included in the sample of the
study. The percentage of agreement between the second author and the first supervisor was
83 % and between the second author and second supervisor was 82 %. These results indicated
sufficientreliability rates for the TCOF for this low-risk study.

Data Collection and Analysis

The second author conducted all the observations using the TCOF in which the 22
teachers were observed three times for a dataset of 66 observations of regular lesson periods
of 45 min in a classroom or laboratory. These observations were distributed across grades 5–
10 (grade 5 = 3, grade 6 = 12, grade 7= 10, grade 8 = 16, grade 9 = 9, grade 10 = 16) and
regular classroom (52) and laboratory (14). The variation in number of observations by grade
level was because most participants had more than one grade level to teach; thus, the teacher
could be observed while teaching one grade level the first time and another grade level the
next time. It was difficult to limit classroom observations to one grade level per teacher
because of the complexity and variability of the schools’ schedule.

The observer attended each lesson just before it began and left after it was concluded.
Mean ratings and standard deviations were used to describe science teachers’ performance on
TCOF items: weak (1:00–1.66), moderate (1.67– 2.33), and excellent (2.34–3.00). The open-
ended survey was distributed to the teachers after their classroom observations to document
their opinions regarding the factors that might prevent them from teaching for creativity,
which were used to elucidate the teachers’ classroom performance. These qualitative data
were analyzed by classifying them into main themes.
Rancangan TCOF

Kami merancang bentuk pengamatan yang disebut bentuk pengamatan untuk

kreativitas observasi (TCOF) untuk menangkap praktik mengajar guru sains untuk
kreativitas. Pengembangan TCOF menggunakan sumber daya yang berbeda sebagai panduan
untuk membangun empat kategori dan 23 item (mis. Beghetto, 2007; Lee & Erdogan, 2007;
Rutland & Barlex, 2008).

A. Strategi Pertanyaan (enam item): Kategori ini berfokus pada jenis pertanyaan yang
mengharuskan siswa untuk menghasilkan ide. Contohnya adalah pertanyaan
divergen, penyelesaian masalah, dan tindak lanjut (mis. Bagaimana jika dan
mengapa). Kategori ini juga termasuk item tentang waktu tunggu pertama dan kedua.
B. Tanggapan guru terhadap ide-ide siswa (tujuh item): Kategori ini berfokus pada
bagaimana guru merespons jawaban, pertanyaan, dan permintaan siswa dengan cara
yang memperkuat ide-ide kreatif, mendorong berbagi ide, atau meminta aplikasi ide
secara nyata situasi.
C. Kegiatan kelas untuk mendukung kreativitas (tujuh item): Kategori ini berfokus pada
berbagai kegiatan dalam pelajaran sains yang meminta siswa untuk merancang
prosedur eksperimental dan untuk menyajikan data, temuan, penjelasan, dan laporan
secara kreatif. Kategori ini juga berfokus pada menghasilkan gagasan untuk aplikasi
pengetahuan, merancang cara-cara inovatif untuk merangkum pelajaran, dan
melakukan tugas pekerjaan rumah.
D. Metode pembelajaran utuh yang menumbuhkan kreativitas (tiga item): Kategori ini
melibatkan seluruh pelajaran yang dirancang di sekitar metode pengajaran yang
dikenal karena potensinya untuk mempromosikan kreativitas dan imajinasi siswa.

Kami telah menjelaskan semua item untuk setiap kategori TCOF di “Hasil dan
Diskusi.” Kami menggunakan skala ordinal 3 poin untuk menilai setiap item:

 Unggul (3 poin): Guru melakukan keterampilan target atau teknik yang

dinyatakan dalam item dengan jelas dan meyakinkan
 Sedang (2 poin): Guru melakukan keterampilan target atau teknik yang
dinyatakan dalam item dengan jelas tetapi TIDAK meyakinkan
 Lemah (1 poin): Guru melakukan keterampilan target atau teknik yang
dinyatakan dalam item tidak mencukupi ATAU tidak berlatih keterampilan

Validitas TOCF dilakukan oleh panel 12 hakim: tiga profesor universitas yang
berspesialisasi dalam kurikulum dan pengajaran, dua profesor universitas yang berspesialisasi
dalam psikologi, dan tujuh pengawas sains yang bekerja di Kementerian Pendidikan. Kami
meminta anggota panel untuk memverifikasi bahwa formulir itu sesuai untuk keperluan
penelitian dan bahwa barang-barang tersebut termasuk dalam kategori yang ditugaskan dan
jelas, dapat dibaca, dan akurat. Berdasarkan umpan balik mereka, kami mengulangi beberapa
item, menghapus satu item, dan memisahkan satu item menjadi dua item berbeda.

Kami menggunakan perjanjian antar pengamat untuk memeriksa keandalan TOCF.

Persentase perjanjian adalah indeks perjanjian antar-pengamat yang paling populer (Watkins
& Pacheco, 2000). Tiga penilai (dua pengawas sains dan penulis kedua) bertemu untuk
membahas tujuan TOCF, kategori dan itemnya, instruksi tentang penggunaan di kelas, dan
definisi skala penilaian. Kemudian, mereka mengamati bersama pelajaran dan menggunakan
formulir secara mandiri, setelah itu mereka bertemu dan membahas bagaimana mereka
mencetak setiap item dan untuk mencapai kesepakatan tentang bagaimana setiap item harus
dievaluasi - kalibrasi formulir dan penggunaan. Selanjutnya, selama 3 hari, mereka
menghadiri bersama 12 pelajaran sains yang berbeda untuk 11 guru sains di kelas 5-10 di tiga
sekolah yang berbeda; guru-guru ini tidak dimasukkan dalam sampel penelitian. Persentase
perjanjian antara penulis kedua dan supervisor pertama adalah 83% dan antara penulis kedua
dan supervisor kedua adalah 82%. Hasil ini menunjukkan tingkat keandalan yang memadai
untuk TCOF untuk studi risiko rendah ini.

Teknik Pengumpulan dan Analisis Data

Penulis kedua melakukan semua pengamatan menggunakan TCOF di mana 22 guru

diamati tiga kali untuk dataset dari 66 pengamatan periode pelajaran reguler 45 menit di
ruang kelas atau laboratorium. Pengamatan ini didistribusikan di kelas 5-10 (kelas 5 = 3,
kelas 6 = 12, kelas 7 = 10, kelas 8 = 16, kelas 9 = 9, kelas 10 = 16) dan kelas reguler (52) dan
laboratorium (14) ). Variasi dalam jumlah pengamatan berdasarkan tingkat kelas adalah
karena sebagian besar peserta memiliki lebih dari satu tingkat kelas untuk mengajar; dengan
demikian, guru dapat diamati saat mengajar satu tingkat kelas pertama kali dan tingkat kelas
lain pada waktu berikutnya. Sulit untuk membatasi pengamatan kelas menjadi satu tingkat
kelas per guru karena kompleksitas dan variabilitas jadwal sekolah.

Pengamat menghadiri setiap pelajaran sebelum dimulai dan pergi setelah selesai.
Peringkat rata-rata dan standar deviasi digunakan untuk menggambarkan kinerja
guru sains pada item TCOF: lemah (1: 00–1.66), sedang (1.67– 2.33), dan sangat baik
(2.34–3.00). Survei terbuka didistribusikan kepada guru setelah pengamatan kelas mereka
untuk mendokumentasikan pendapat mereka mengenai faktor-faktor yang dapat mencegah
mereka dari mengajar untuk kreativitas, yang digunakan untuk menjelaskan kinerja kelas
guru. Data kualitatif ini dianalisis dengan mengklasifikasikannya ke dalam tema utama.