Soal-soal HOTS merupakan instrumen pengukuran yang dipakai untuk mengukur kemampuan berpikir tingkat tinggi, yakni kemampuan berpikir yang tidak sekadar mengingat(recall), menyatakan kembali (restate), atau merujuk tanpa melaksanakan pengolahan (recite).
Soal-soal HOTS pada konteks asesmen mengukur kemampuan:
1) transfer satu konsep ke konsep lainnya,
2) memproses dan menerapkan informasi,
3) mencari kaitan dari berbagai informasi yangberbeda-beda,
4) menggunakan informasi untuk menyelesaikan masalah, dan
5) menelaah ide dan informasi secara kritis.
Meskipun demikian, soal-soal yang berbasis HOTS tidak berarti soal yang lebih sulit daripada soal recall. Dilihat dari dimensi pengetahuan, umumnya soal HOTS mengukur dimensi metakognitif, tidak sekadar mengukur dimensi faktual, konseptual, atau prosedural saja.
Dimensi metakognitif menggambarkan kemampuan menghubungkan beberapa konsep yang berbeda, menginterpretasikan, memecahkan problem (problem solving), menentukan taktik pemecahan masalah, menemukan (discovery) metode baru, berargumen (reasoning), dan mengambil keputusan yang tepat.
Dimensi proses berpikir dalam Taksonomi Bloom sebagaimana yang telah disempurnakan oleh Anderson & Krathwohl (2001), terdiri atas kemampuan: mengetahui (knowing-C1), memahami (understanding-C2), menerapkan (aplying C3), menganalisis (analyzing-C4), mengevaluasi (evaluating-C5), dan mengkreasi (creating-C6).
Soal-soal HOTS pada umumnya mengukur kemampuan pada ranah menganalisis (analyzing-C4), mengevaluasi (evaluating-C5), dan mengkreasi (creating-C6). Pada pemilihan kata kerja operasional (KKO) untuk merumuskan indikator soal HOTS, hendaknya tidak terjebak pada pengelompokkan KKO. Sebagai teladan kata kerja “menentukan‟ pada Taksonomi Bloom ada pada ranah C2 dan C3.
Dalam konteks penulisan soal-soal HOTS, kata kerja “menentukan‟ bisa jadi ada pada ranah C5 (mengevaluasi) apabila untuk menentukan keputusan didahului dengan proses berpikir menganalisis informasi yang disajikan pada stimulus kemudian peserta didik diminta menentukan keputusan yang terbaik. Bahkan kata kerja “menentukan‟ bisa digolongkan C6 (mengkreasi) bila pertanyaan menuntut kemampuan menyusun strategi pemecahan masalah baru. Jadi, ranah kata kerja operasional (KKO) sangat dipengaruhi oleh proses berpikir apa yang diharapkan untuk menjawab pertanyaan yang diberikan.
