อ่านงานวิจัยอย่างไรให้เห็นข้อจำกัด

หมายเหตุเกี่ยวกับที่มาของฉบับภาษาไทย: ฉบับนี้เรียบเรียงจากฉบับหลักภาษารัสเซีย (RU) ที่ใช้อยู่ หากข้อความอ้างอิงในฉบับ RU เป็นคำแปลอยู่แล้ว ข้อความภาษาไทยจะถ่ายทอดผ่านคำแปล RU นั้น การกล่าวถึง ‘ฉบับทั้งสองภาษา’ ในเนื้อหาเดิมหมายถึง RU และ EN การตรวจสอบความหมายและการตรวจโดยผู้ใช้ภาษาไทยเป็นภาษาแม่ของฉบับ TH ยังมีสถานะ NOT_RUN

คำกล่าวนำ

«…ตัวอย่างที่ขัดแย้งมีพลังมากที่สุด» — ฟรานซิส เบคอน, «เครื่องมือใหม่», I, XLVI; ข้อความบางส่วน ซึ่งบทความรัสเซียแปลเองจากฉบับภาษาอังกฤษที่โจเซฟ เดวีย์เป็นบรรณาธิการ

บทความนี้ว่าด้วยอะไร

งานวิจัยอาจมีข้อมูลที่น่าเชื่อถือพร้อมกับข้อสรุปที่มีขอบเขตจำกัดได้ สิ่งนี้ไม่จำเป็นต้องเป็นข้อบกพร่อง บางครั้งขอบเขตทำให้เห็นว่างานนั้นช่วยให้คำถามใดกระจ่างขึ้นจริง ความยุ่งยากเริ่มเมื่อผู้อ่านเปลี่ยนคำถาม ตัวชี้วัด หรือกลุ่มคนโดยไม่ทันรู้ตัว แต่ยังคงน้ำเสียงมั่นใจแบบข้อความเดิม บทความเสนอให้อ่านงานวิจัยโดยติดตามลำดับการเชื่อมต่อ จากแนวคิดตั้งต้นสู่ขั้นตอนดำเนินการ จากขั้นตอนสู่การวัด จากการวัดสู่คำอธิบาย และจากคำอธิบายสู่การนำไปใช้ ตัวอย่างเฉพาะเป็นการทดลองด้านการมองเห็น ซึ่งตัวชี้วัดหนึ่งลดลงพร้อมกับที่อีกตัวหนึ่งดีขึ้น เบคอนช่วยให้สังเกตท่าทีต่อกรณีที่ไม่เข้าทาง ฮูมช่วยแยกประสบการณ์ออกจากการนำความคาดหมายไปใช้ต่อ ส่วนแถลงการณ์ของสมาคมสถิติอเมริกันช่วยไม่ให้เปลี่ยนตัวเลขเพียงค่าเดียวเป็นข้อโต้แย้งทางวิทยาศาสตร์ทั้งหมด แหล่งเหล่านี้ไม่ได้ประกอบกันเป็นทฤษฎีประวัติศาสตร์หนึ่งเดียว การนำมาเทียบกันมีเป้าหมายที่จำกัดกว่านั้น คือรักษาผลที่มีประโยชน์ไว้พร้อมเงื่อนไขที่ทำให้ได้ผลนั้น และคำถามที่ผลนั้นยังตอบไม่ได้

I. ข้อจำกัดตอบคำถามว่า «ไปได้ถึงไหน»

คนมักอ่านคำว่า «ข้อจำกัด» เป็นสัญญาณให้ไม่ไว้วางใจ หากผู้เขียนยอมรับว่ากลุ่มตัวอย่างไม่ครอบคลุม มีเงื่อนไขเฉพาะ หรือมีคำอธิบายทางเลือก ผู้อ่านอาจอยากปิดข้อความ เพราะคิดว่าแปลว่ายังพิสูจน์อะไรไม่ได้เลย แต่งานวิจัยแทบไม่เคยตอบทุกคำถามที่เป็นไปได้พร้อมกัน งานหนึ่งอาจแสดงความแตกต่างในขั้นตอนเฉพาะได้ค่อนข้างชัด ขณะที่ยังเปิดคำถามเรื่องการนำไปใช้ในชีวิตทั่วไปไว้ ตรงนี้จึงควรถามทั้งว่างานดีเพียงใด และเหตุผลรองรับของงานไปได้ถึงไหน ขอบเขตระหว่างภารกิจที่นำเสนอในการทดลองกับพฤติกรรมประจำวันไม่ได้ทำลายผลลัพธ์ด้วยตัวมันเอง แต่บอกว่าการเชื่อมต่อขั้นถัดไปส่วนใดต้องมีเหตุผลรองรับต่างหาก ความไว้วางใจจะแม่นยำขึ้นเมื่อระบุได้ว่าไว้วางใจเรื่องใด แทนที่จะประทับตราเห็นชอบหรือปฏิเสธให้ทั้งบทความ

ลองนึกถึงข้อความสมมติว่า คำใบ้บางอย่างช่วยให้จำแนกภาพได้ดีขึ้น เบื้องหลังประโยคสั้น ๆ นี้อาจมีคำถามหลายแบบ คำตอบเร็วขึ้นหรือไม่ ความผิดพลาดน้อยลงหรือไม่ ตัวชี้วัดกิจกรรมเปลี่ยนไป หรือการจำแนกรูปแบบที่วัดได้ดีขึ้น คำใบ้มีประโยชน์ในการทดลองทุกครั้ง หรือเฉพาะโดยเฉลี่ย ถ้อยคำว่า «ช่วยให้จำแนกได้ดีขึ้น» ไม่ได้ให้คำตอบสำเร็จรูป ก่อนอื่นควรย้อนดูว่าเปรียบเทียบอะไร และนับอะไรว่าเป็นการดีขึ้น ขั้นนี้ไม่ต้องคิดการทดลองของตนเองขึ้นมา หรือสงสัยว่าผู้เขียนหลอกลวง แต่ต้องพักถ้อยคำกว้าง ๆ ไว้ชั่วคราว แล้วหาความหมายที่เฉพาะเจาะจงกว่า บางครั้งการอ่านเช่นนี้ยืนยันพาดหัว บางครั้งทำให้พบว่าพาดหัวกล่าวเกินกว่าสิ่งที่วัด

อาจจดสี่อย่างแยกกันไว้ใกล้มือ ได้แก่ คำถามของผู้เขียน ขั้นตอนที่อธิบาย ผลที่รายงาน และคำอธิบายที่เสนอ ทั้งสี่อาจสอดคล้องกัน แต่ไม่ได้กลายเป็นบันทึกเดียวกัน ขั้นตอนกำหนดสิ่งที่สามารถสังเกตได้ ผลลัพธ์บอกว่าเกิดอะไรขึ้นภายใต้เงื่อนไขนั้น ส่วนคำอธิบายเชื่อมสิ่งนี้กับความเข้าใจที่กว้างกว่า หากคำถามของผู้อ่านเกี่ยวกับอีกสถานการณ์หนึ่ง ก็จะมีบันทึกเพิ่มขึ้นอีกอย่าง คือการนำไปใช้ของตนเอง การทำเช่นนั้นไม่ได้ถูกห้าม แต่เป็นส่วนที่ผู้อ่านต้องรับผิดชอบเองแล้ว เช่น คำใบ้ในห้องทดลองก่อนสิ่งเร้าทางสายตาไม่เท่ากับคำแนะนำให้เชื่อความประทับใจแรกเสมอ การจะเชื่อมจากอย่างหนึ่งไปสู่อีกอย่าง ต้องแสดงความสัมพันธ์ระหว่างขั้นตอนกับผลที่ตามมา ตราบใดที่ยังไม่มีความสัมพันธ์นั้น การรักษาคำตอบที่มีขอบเขตจำกัดย่อมมีประโยชน์กว่าการบังคับให้งานวิจัยรับผิดชอบคำสัญญาที่คนอื่นให้ไว้

II. ใครเข้าร่วม และข้อมูลของใครได้เข้าสู่การวิเคราะห์

ในงานปี 2012 ของ Peter Kok, Janneke F. M. Jehee และ Floris P. de Lange แรกเริ่มมีผู้เข้าร่วมยี่สิบคนซึ่งมีสุขภาพดีและถนัดขวา ข้อมูลของสองคนถูกตัดออกจากการวิเคราะห์ คนหนึ่งเพราะเคลื่อนไหวศีรษะมากเกินไป อีกคนเพราะไม่ปฏิบัติตามคำแนะนำ ดังนั้นกลุ่มที่นำมาวิเคราะห์จึงมีสิบแปดคน ตัวเลขและคำอธิบายทั้งสามส่วนนี้ทำหน้าที่ต่างกัน จำนวนแรกบอกถึงการรับผู้เข้าร่วม เหตุผลที่ตัดออกบอกถึงการเปลี่ยนจากผู้เข้าร่วมสู่กลุ่มที่วิเคราะห์ และจำนวนสุดท้ายบอกว่าผลลัพธ์ตั้งอยู่บนข้อมูลใด การแทนลำดับนี้ด้วยคำว่า «คน» จะซ่อนส่วนสำคัญของขั้นตอน แต่การมีคนถูกตัดออกก็ยังไม่ใช่หลักฐานว่ามีการบิดเบือน การประเมินต้องรู้เหตุผลที่ตัดออกและความสัมพันธ์กับคำถามที่ตั้งไว้ แทนที่จะตอบสนองต่อคำนี้โดยอัตโนมัติ

องค์ประกอบของกลุ่มจำกัดการนำผลไปใช้ แต่ไม่ได้ให้กฎง่าย ๆ ว่า «กลุ่มเล็กเท่ากับข้อสรุปผิด» ต้องคำนึงว่าวัดอะไร จัดการเปรียบเทียบอย่างไร และต้องการกล่าวอ้างกว้างเพียงใด ผู้เข้าร่วมสิบแปดคนไม่ได้กลายเป็นคำอธิบายคนทุกคน ทุกกลุ่มอายุ และทุกสถานการณ์ของการมองเห็น ขณะเดียวกันก็ไม่ได้หมายความว่าสิ่งที่สังเกตภายในขั้นตอนที่อธิบายไว้นั้นไม่มีสาระ ตรงนี้ต้องแยกคำถามว่าพบผลในงานนี้หรือไม่ ออกจากคำถามว่าผลนั้นครอบคลุมออกไปนอกงานได้เพียงใด บทความรัสเซียไม่ได้คำนวณข้อมูลตั้งต้นใหม่หรือประเมินเกณฑ์รับเข้าทั้งหมด แต่ย้อนแสดงขอบเขตที่ตีพิมพ์ไว้ ผลนั้นเกี่ยวข้องกับการวิเคราะห์เฉพาะ ส่วนข้อสรุปเพิ่มเติมเกี่ยวกับประชากรต้องมีเหตุผลรองรับเพิ่มเติม

ผู้อ่านควรสังเกตว่างานวิจัยไม่ได้อธิบายคนกลุ่มใดบ้าง โดยไม่เปลี่ยนรายชื่อนั้นเป็นคำฟ้อง หากงานศึกษาคนกลุ่มเดียว ก็อาจเป็นงานที่สุจริตรอบคอบเกี่ยวกับกลุ่มนั้นโดยเฉพาะ ปัญหาเกิดเมื่อการไม่มีข้อมูลของผู้เข้าร่วมกลุ่มอื่นกลายเป็นคำสัญญาโดยไม่ทันสังเกตว่าทุกคนจะได้ผลเหมือนกัน และในทางกลับกัน การไม่มีกลุ่มใดกลุ่มหนึ่งก็ไม่ได้พิสูจน์ว่าผลของกลุ่มนั้นจะต้องตรงข้าม ในทั้งสองกรณี คนได้เปลี่ยนช่องว่างให้เป็นข้อยืนยัน ถ้อยคำที่แม่นยำกว่าจะถ่อมตนกว่านั้น คือยังไม่ได้ยืนยันการนำผลไปใช้กับกลุ่มอื่น ข้อความนี้รักษาความเป็นไปได้ที่จะตรวจสอบต่อไป และช่วยป้องกันปฏิกิริยาที่ด่วนสรุปพอ ๆ กันสองแบบ ได้แก่ การเชื่อครอบจักรวาลกับการปฏิเสธครอบจักรวาล

III. ขั้นตอนกำหนดความหมายของคำธรรมดา

ในการทดลองเดียวกัน คำใบ้ที่เป็นเสียงทำนายแนวเอียงของภาพตะแกรงที่จะปรากฏได้ด้วยความน่าจะเป็นเจ็ดสิบห้าเปอร์เซ็นต์ ผู้เข้าร่วมทำภารกิจแยกแยะแนวเอียง หรือภารกิจแยกแยะความเปรียบต่าง ดังนั้นคำว่า «ความคาดหมาย» ในที่นี้จึงผูกกับแบบแผนการนำเสนอสิ่งเร้าและภารกิจที่เจาะจง ไม่ใช่การวัดความหวัง ความเชื่อ หรือความคาดหมายทุกอย่างของคน คำธรรมดาช่วยให้เข้าใจงานวิจัยง่ายขึ้น แต่ก็อาจพาความหมายส่วนเกินเข้ามาโดยไม่ทันสังเกต ผู้อ่านอาจได้ยินคำนี้เป็นความต้องการอย่างรู้ตัวที่จะเห็นวัตถุแบบนั้น ทั้งที่ขั้นตอนจัดไว้ต่างออกไป การรักษาความแม่นยำจึงต้องพาคำกลับไปสู่สิ่งที่งานนั้นทำกับมันจริง การชี้ให้ชัดเช่นนี้ไม่ได้ลดทอนประสบการณ์ของมนุษย์ แต่จำกัดความหมายของข้ออ้างในงานวิจัย

สิ่งที่สำคัญเป็นพิเศษคือการย้อนดูการเปรียบเทียบ สิ่งเร้าที่คาดหมายและไม่คาดหมายปรากฏภายใต้การจัดการทดลองแบบเฉพาะ ภารกิจที่ต่างกันช่วยให้เปรียบเทียบบทบาทของความคาดหมายกับบทบาทของสิ่งที่ต้องแยกแยะได้ เราไม่อาจเข้าใจผลจากชื่อวัตถุที่นำเสนอเพียงอย่างเดียว วัตถุเดียวกันอาจอยู่ในภารกิจต่างกันและถูกวัดต่างวิธีกัน ตัวอย่างสมมติในชีวิตประจำวันคือคนที่มองป้ายราคา เขาอาจกำลังหาราคา ตรวจชื่อสินค้า หรือสังเกตตำแหน่งข้อความ นี่ไม่ใช่การทำซ้ำการทดลองในห้องปฏิบัติการ แต่เป็นภาพประกอบว่าคำถามที่เรามีต่อวัตถุสำคัญอย่างไร ขั้นตอนวิจัยทำให้คำถามนั้นเฉพาะเจาะจงพอที่จะเปรียบเทียบ ส่วนเรื่องเล่าในชีวิตประจำวันมักปล่อยให้ยังไม่ชัด

เวลาอ่านควรแยกว่า ผู้วิจัยเปลี่ยนอะไร ผู้เข้าร่วมต้องทำอะไร และต่อมาคำนวณอะไรจากข้อมูล บทบาทเหล่านี้สับสนกันได้ง่ายในการเล่าย่อ คำใบ้ไม่เท่ากับคำตอบของผู้เข้าร่วม ภารกิจไม่เท่ากับตัวชี้วัด และตัวชี้วัดที่คำนวณได้ไม่เท่ากับเนื้อหาทั้งหมดของประสบการณ์ หากบทความรายงานเกี่ยวกับเปลือกสมองส่วนการมองเห็น ก็ยังไม่ได้หมายความว่าได้วัดทุกอย่างที่คนผู้นั้นรับรู้อย่างรู้ตัวโดยตรง หากรายงานผลการทำภารกิจ ก็ไม่ได้ตอบเรื่องการทำงานทั้งหมดของสมองโดยอัตโนมัติ ไม่จำเป็นต้องเรียกร้องให้ขั้นตอนเดียวครอบคลุมทุกอย่างพร้อมกัน เพียงรักษาความสอดคล้องระหว่างวิธีจัดขั้นตอนกับข้อสรุปที่ใช้ขั้นตอนนั้นเพื่อค้นหาจริงก็พอ

IV. ตัวชี้วัดสองอย่างอาจเคลื่อนไปคนละทิศ

ค็อกและคณะรายงานว่า การตอบสนองของเปลือกสมองส่วนการมองเห็นปฐมภูมิต่อแนวเอียงที่คาดหมายลดลงเมื่อเทียบกับแนวเอียงที่ไม่คาดหมาย ขณะเดียวกัน ข้อมูลเกี่ยวกับแนวเอียงที่ประเมินด้วยการจำแนกรูปแบบกิจกรรมกลับเพิ่มขึ้น นี่ไม่ใช่ความขัดแย้งทางตรรกะ ขนาดการตอบสนองกับความสามารถในการแยกเงื่อนไขจากรูปแบบกิจกรรมที่กระจายอยู่เป็นคนละตัวชี้วัด ประโยคว่า «กิจกรรมลดลง แปลว่าการรับรู้แย่ลง» จะเพิ่มการอนุมานที่การลดลงเพียงอย่างเดียวรองรับไม่ได้ การสรุปกลับทางก็จะด่วนพอ ๆ กัน นั่นคือกล่าวว่าการจำแนกที่ดีขึ้นพิสูจน์ว่าการมองเห็นของมนุษย์ดีขึ้นทุกด้าน งานนี้เปิดให้พูดถึงการวัดบางอย่างและผลที่ปรากฏร่วมกัน ส่วนคำประเมินกว้าง ๆ ในชีวิตประจำวันว่า «ดีขึ้น» หรือ «แย่ลง» ต้องระบุว่าใช้เกณฑ์ใดและสำหรับภารกิจอะไร

ผู้เขียนตีความผลที่ปรากฏร่วมกันว่าเป็นการที่ภาพแทนมีความชัดเจนแน่นอนขึ้น โดยเกี่ยวข้องกับความคาดหมาย ต้องรักษาคำว่า «ตีความ» ไว้ คำนี้ไม่ได้หมายถึงการแต่งขึ้นตามใจ คำอธิบายตั้งอยู่บนผลลัพธ์และบริบทของงานวิจัย แต่คำอธิบายไม่ได้กลายเป็นการวัดอิสระเพิ่มเติมเพียงเพราะเขียนอยู่ถัดจากภาพประกอบ ข้อมูล ภาพ และบทอภิปรายอาจเป็นสามรูปแบบของการนำเสนองานเดียวกัน ไม่ใช่หลักฐานยืนยันแยกกันสามชิ้น เมื่อผู้อ่านนับแต่ละรูปแบบเป็นหลักฐานอิสระ น้ำหนักของงานจะเพิ่มขึ้นอย่างไม่สมเหตุสมผล การอ่านที่แม่นยำกว่าจะรักษาโครงสร้างไว้ คือมีขั้นตอนหนึ่งชุด ผลที่สอดคล้องกับขั้นตอนนั้น และคำอธิบายที่ผู้เขียนเสนอ การตรวจคำอธิบายอื่นหรือโครงสร้างการรับรู้ทั้งหมดเป็นงานขั้นต่อไป ซึ่งทำให้สำเร็จด้วยการกล่าวข้อสรุปซ้ำเฉย ๆ ไม่ได้

การแยกเช่นนี้มีประโยชน์นอกบทความเฉพาะเรื่องด้วย ตัวชี้วัดมีความหมายผ่านวิธีที่ได้มา ไม่ใช่จากทิศทางการเปลี่ยนแปลงเพียงอย่างเดียว ในรายงานสมมติ เวลาตอบสนองลดลง แต่ความแม่นยำก็ลดลงด้วย การบอกว่า «ทำงานได้ดีขึ้น» โดยยังไม่เลือกเกณฑ์ย่อมไม่เพียงพอ ในอีกรายงาน จำนวนการกระทำลดลง อาจเพราะผู้เข้าร่วมบรรลุเป้าหมายได้ง่ายขึ้น หรือเพราะเลิกพยายามแล้ว ตัวอย่างเหล่านี้ไม่ได้รายงานงานวิจัยจริง และไม่ได้เสนอคำอธิบายสำเร็จรูปให้ข้อมูลของค็อก แต่แสดงความจำเป็นในการเรียบเรียง ก่อนแปลการเพิ่มหรือลดเป็นคำประเมิน ต้องบอกปริมาณที่วัดและความสัมพันธ์กับคำถาม ข้อจำกัดตรงนี้มีเนื้อหาสาระ เพราะไม่ยอมให้แทนผลลัพธ์เฉพาะด้วยคำชมกว้าง ๆ

V. ตัวเลขทางสถิติไม่ใช่ความน่าจะเป็นที่ข้ออ้างเป็นจริง

ประกาศอย่างเป็นทางการของสมาคมสถิติอเมริกันลงวันที่เจ็ดมีนาคม 2016 เสนอหลักการหกข้อในการใช้ค่า p หลักการข้อหนึ่งระบุว่าค่า p ไม่ได้วัดความน่าจะเป็นที่สมมติฐานที่ศึกษานั้นเป็นจริง และไม่ได้หมายถึงความน่าจะเป็นที่ข้อมูลเกิดจากความบังเอิญเพียงอย่างเดียว อีกข้อเตือนเรื่องการตัดสินใจโดยอาศัยเพียงการผ่านค่าขีดแบ่งที่กำหนด สิ่งนี้ช่วยแก้การกระโดดข้ามเหตุผลที่พบบ่อย ตัวเลขที่ต่ำกว่าขีดแบ่งที่เลือกไม่ได้หมายความว่าข้ออ้างนั้นเป็นจริงด้วยความมั่นใจระดับที่สอดคล้องกัน ความหมายของตัวเลขผูกกับแบบจำลองทางสถิติที่กำหนดไว้ และความเข้ากันได้ของข้อมูลกับแบบจำลองนั้น บทความรัสเซียไม่ได้แสดงที่มาของสูตรหรือใช้แทนการวิเคราะห์ของผู้เชี่ยวชาญ แต่รักษาขอบเขตระหว่างผลทางสถิติที่รายงานกับคำสัญญาที่ผู้อ่านอาจใส่ให้มัน

สมาคมยังแยกนัยสำคัญทางสถิติ ขนาดอิทธิพล และความสำคัญของผลลัพธ์ออกจากกัน ความแตกต่างเหล่านี้ตอบคนละคำถาม ผลหนึ่งอาจมีค่า p ต่ำ แต่นั่นไม่ได้บอกด้วยตัวมันเองว่าความแตกต่างใหญ่เพียงใด และมีความหมายในทางปฏิบัติสำหรับสถานการณ์ที่เลือกหรือไม่ ความสำคัญยังขึ้นกับสิ่งที่เป็นเดิมพัน ทางเลือกที่มี และผลตามมาจากการนำไปใช้ เราหาคำตอบเหล่านี้ด้วยการกล่าวคำว่า «มีนัยสำคัญ» ซ้ำอย่างเดียวไม่ได้ สำหรับผู้อ่านทั่วไป ถ้อยคำที่แม่นยำกว่าย่อมมีประโยชน์ นั่นคือ งานวิจัยรายงานตัวชี้วัดนี้ภายใต้ข้อสมมติเหล่านี้ ส่วนขนาดและความหมายในทางปฏิบัติต้องพิจารณาแยกต่างหาก นี่ไม่ใช่การปฏิเสธสถิติ แต่เป็นการไม่มอบงานของการให้เหตุผลส่วนอื่นทั้งหมดให้ตัวชี้วัดทางสถิติเพียงตัวเดียว

ไม่ควรแทนการบูชาค่าขีดแบ่งด้วยการบูชาแนวคิดตรงข้ามว่า เมื่อค่า p มีข้อจำกัด ก็ละเลยมันได้ ในประกาศของ ASA ค่า p ถูกพิจารณาเป็นส่วนหนึ่งของการให้เหตุผลที่ต้องมีการออกแบบที่ดี บริบท ความโปร่งใส และการนำเสนอข้อมูลอย่างครบถ้วน ตัวเลขอื่นทุกตัวก็ต้องมีข้อสมมติและการตีความของตนเช่นกัน ดังนั้นเป้าหมายการอ่านจึงไม่ใช่ค้นหาตัวชี้วัดวิเศษที่จะทำให้หมดคำถามเสียที แต่คือดูว่าตัวชี้วัดนั้นรองรับคำตอบส่วนใดจริง หากผู้อ่านประเมินการคำนวณไม่ได้ ก็อาจระบุขอบเขตนี้อย่างตรงไปตรงมา แล้วตรวจสิ่งที่เข้าถึงได้ต่อไป เช่น คำถามตรงกับข้อสรุปหรือไม่ ระบุเงื่อนไขไว้หรือไม่ และแยกผลที่พบออกจากคำอธิบายหรือไม่ ความสามารถที่จำกัดของผู้อ่านไม่ได้บังคับให้ต้องแสร้งเป็นผู้เชี่ยวชาญหรือเลิกทำความเข้าใจทั้งหมด

VI. ความโปร่งใสช่วยให้เข้าใจการเชื่อมต่อแต่ละขั้น

หลักการข้อที่สี่ในประกาศของ ASA เชื่อมการอนุมานที่เหมาะสมกับการนำเสนออย่างครบถ้วนและความโปร่งใส นี่ไม่ใช่คำสัญญาว่างานที่โปร่งใสจะถูกต้องโดยอัตโนมัติ ขั้นตอนที่มองเห็นได้อาจอ่อนแอ และข้อมูลเปิดอาจไม่ตอบคำถามที่ต้องการ อย่างไรก็ตาม ความโปร่งใสเปิดให้หารือเหตุผลรองรับอย่างเฉพาะเจาะจง เมื่อรู้ว่ามีการตัดใครออก มีภารกิจและตัวชี้วัดอะไร ผู้อ่านก็เห็นว่าผลลัพธ์จบตรงไหนและคำอธิบายเริ่มตรงไหน ในตัวอย่างที่วิเคราะห์ข้อมูลผู้เข้าร่วมสิบแปดคน คำอธิบายเรื่องการตัดออกช่วยย้อนดูกระบวนการจากการรับผู้เข้าร่วมไปสู่การวิเคราะห์ หากไม่มีคำอธิบายเช่นนี้ก็ต้องเดา ความโปร่งใสจึงมีคุณค่าในฐานะที่เปิดให้เข้าถึงขั้นตอนซึ่งเชื่อมคำถามวิจัยกับคำตอบที่รายงาน มิใช่ตราคุณภาพสำหรับประดับ

ต้องแยกการไม่มีข้อมูลในข้อความสั้นออกจากการไม่มีข้อมูลนั้นในงานทั้งหมด พาดหัวไม่จำเป็นต้องบรรจุส่วนระเบียบวิธี การเล่าย่ออาจละสิ่งที่มีคำอธิบายละเอียดในส่วนถัดไป หากผู้อ่านเห็นเพียงบทคัดย่อ ระดับความมั่นใจก็ควรสอดคล้องกับขอบเขตที่ได้อ่าน อาจบอกได้ว่าบทคัดย่อรายงานผล แต่กล่าวไม่ได้ว่าตรวจวิธีการทั้งหมดแล้ว ในการทำงานกับแหล่งอ้างอิงของบทความรัสเซีย ได้อ่านส่วนที่ระบุของบทความค็อก ประกาศทางการของ ASA และข้อความปรัชญาที่เลือกไว้จริง ส่วนเอกสารเสริมของการทดลองยังไม่ได้อ่าน ขอบเขตนี้ไม่ได้บังคับให้ทิ้งเนื้อหาที่เข้าถึงได้ แต่กำหนดว่าอย่าอ้างขอบเขตการอ่านเกินกว่าสิ่งที่ได้เข้าถึงและพิจารณาจริง

หากยังเข้าถึงข้อมูลสำคัญไม่ได้ ควรระบุให้ชัดว่าข้อมูลใดและเกี่ยวข้องกับคำถามอะไร เช่น ยังไม่ทราบว่าเลือกตัวชี้วัดสำหรับการเปรียบเทียบนี้อย่างไร จึงยังประเมินการเชื่อมต่อขั้นนี้ด้วยตนเองไม่ได้ บันทึกเช่นนี้ให้ข้อมูลมากกว่าคำกว้าง ๆ ว่า «งานวิจัยมีข้อจำกัดมาก» เพราะช่วยให้เข้าใจว่าอะไรทราบแล้ว และสิ่งใดอาจเปลี่ยนการประเมินได้ บางครั้งช่องว่างสำคัญต่อการนำไปใช้ในวงกว้าง แต่ไม่ขัดขวางการเล่าข้อสรุปที่มีขอบเขตจำกัดของผู้เขียนอย่างแม่นยำ บางครั้งช่องว่างกระทบตัวผลลัพธ์หลักเอง ซึ่งกรณีนั้นควรพักการเล่าอย่างมั่นใจไว้ก่อน ช่องว่างแต่ละจุดไม่ได้สำคัญเท่ากัน ความแตกต่างขึ้นกับข้ออ้างที่ผู้อ่านต้องการรองรับ ไม่ใช่จำนวนข้อทักท้วงที่รวบรวมไว้รอบบทความ

VII. ไม่ควรใช้ถ้อยคำกำจัดตัวอย่างที่ไม่เข้าทาง

ในข้อคิดที่สี่สิบหกของเล่มแรกของ «เครื่องมือใหม่» เบคอนบรรยายถึงจิตที่เมื่อรับข้อเสนอหนึ่งแล้วก็ปรับทุกอย่างที่เหลือให้สนับสนุนมัน กรณีที่ขัดแย้งอาจถูกมองข้าม ปฏิเสธ หรือขจัดด้วยการแยกความต่างในแบบที่รักษาข้อสรุปเดิมไว้ นี่เป็นข้อโต้แย้งเชิงปรัชญาในประวัติศาสตร์ ไม่ใช่การทดลองสมัยใหม่เกี่ยวกับความถี่ที่ผู้อ่านผิดพลาด แต่ให้คำถามที่ตรงจุดสำหรับการอ่านของตนเองว่า ฉันเปิดทางให้สิ่งที่เห็นเปลี่ยนข้อสรุปของฉันจริงหรือไม่ หากความไม่สอดคล้องทุกอย่างถูกเปลี่ยนชื่อให้เป็นคำยืนยันล่วงหน้า ข้อความก็เลิกตรวจสอบความคาดหมายแล้ว ผู้อ่านยังอาจพูดถึงความเป็นวิทยาศาสตร์ แต่ไม่ได้เปิดโอกาสให้งานวิจัยตอบต่างจากสิ่งที่ตนเห็นว่าสะดวกก่อนอ่านข้อมูล

การแยกความต่างเพื่อปกป้องข้อสรุปไม่ได้ไม่ชอบธรรมทุกครั้ง บางครั้งสองกรณีอยู่ภายใต้เงื่อนไขต่างกันจริง และข้ออ้างเดิมก็ไม่ได้ครอบคลุมกรณีที่สองตั้งแต่แรก จึงกล่าวหาคำชี้แจงทุกอย่างโดยอัตโนมัติว่าเป็นเล่ห์กลไม่ได้ ต้องดูว่าขอบเขตใหม่ปรากฏเมื่อไรและเพื่ออะไร ขั้นตอนรองรับมันหรือไม่ และยังเปิดให้ตรวจสอบหรือไม่ หากงานวิจัยแยกภารกิจด้านแนวเอียงกับความเปรียบต่างไว้ตั้งแต่แรก นั่นเป็นส่วนหนึ่งของการออกแบบ แต่หากผู้อ่านคิดเงื่อนไขที่ตรวจสอบไม่ได้ขึ้นมาหลังพบผลที่ไม่คาดหมาย สถานการณ์ย่อมต่างกัน คำเตือนของเบคอนช่วยให้เห็นแนวโน้มที่จะรักษาข้อสรุปที่ตนชอบไว้ แต่การประเมินคำชี้แจงเฉพาะยังต้องวิเคราะห์แยกต่างหาก ถ้อยคำทางประวัติศาสตร์ใช้แทนการวิเคราะห์วิธีสมัยใหม่ไม่ได้ และไม่ได้ให้สิทธิ์ใส่แรงจูงใจที่แต่งขึ้นให้ผู้วิจัย

ในการพูดคุยประจำวัน เราอาจรักษาขอบเขตนี้ด้วยคำถามง่าย ๆ ว่า ผลแบบใดที่อาจเกิดขึ้นจะเปลี่ยนข้ออ้างของเราได้ คำตอบไม่จำเป็นต้องเป็นตัวเลขเสมอไป บางครั้งต้องเข้าถึงขั้นตอนเฉพาะ ทำซ้ำในอีกเงื่อนไข หรือทดสอบคำอธิบายทางเลือก หากยังไม่มีคำตอบเช่นนี้ ก็อาจหมายความว่าความคิดนั้นยังเป็นข้อสันนิษฐานทั่วไป ไม่ใช่ข้อสรุปวิจัยที่ตรวจสอบแล้ว การสันนิษฐานไม่ได้ถูกห้าม สิ่งสำคัญคือต้องเรียกสถานะของมันให้ถูก ความคิดสมมติเรื่องประโยชน์ของคำใบ้อาจน่าสนใจได้ตั้งแต่ก่อนตรวจสอบใหม่ แต่ความน่าสนใจไม่เท่ากับการยืนยัน และการอธิบายผลทุกแบบย้อนหลังได้ไม่เท่ากับการทำนายได้แม่นยำ การอ่านข้อจำกัดช่วยรักษาความต่างนี้ โดยไม่จำเป็นต้องเลือกระหว่างความตื่นเต้นชื่นชมกับการเปิดโปงทันที

VIII. จากประสบการณ์สู่ความคาดหมายต้องมีการเชื่อมต่อแยกต่างหาก

ในส่วนที่ห้าของ «การศึกษาเกี่ยวกับความเข้าใจของมนุษย์» ฮูมกล่าวถึงความเคยชินที่ทำให้ประสบการณ์นำไปสู่ความคาดหมาย เขาแยกการเคลื่อนของความคิดที่เป็นแบบแผนออกจากการให้เหตุผลซึ่งจะพิสูจน์กรณีถัดไปจากกรณีก่อนหน้า บทความรัสเซียใช้บริบทปรัชญานี้เพื่อสังเกตการนำผลข้ามไปใช้เมื่ออ่านงานวิจัย ผลที่ได้กับความคาดหมายว่าจะได้ผลคล้ายกันในอีกสถานการณ์ไม่ใช่บันทึกเดียวกัน ฮูมไม่ได้เสนอแบบจำลองประสาทหรือประเมินวิธีทดลองสมัยใหม่ในที่นี้ ข้อโต้แย้งของเขาไม่ได้พิสูจน์ว่าข้อมูลไร้ประโยชน์ แต่ช่วยให้เห็นว่าการขยายข้อสรุปต้องใส่ใจตัวการเชื่อมต่อนั้นเอง แม้มันจะดูเป็นธรรมชาติเพราะเรื่องราวคุ้นเคยหรือได้อ่านข้อความคล้ายกันซ้ำหลายครั้ง

ผู้อ่านอาจคาดหมายความคล้ายกันอย่างสมเหตุสมผลได้ โดยไม่กล่าวอ้างว่าเป็นความเหมือนกันที่ตรวจสอบแล้ว เช่น ผลในภารกิจหนึ่งอาจทำให้อีกภารกิจน่าสนใจสำหรับการวิจัย นั่นเป็นเหตุผลให้ตั้งคำถาม ไม่ใช่คำตอบสำเร็จรูป หากผู้เข้าร่วม การนำเสนอสิ่งเร้า ตัวชี้วัด หรือผลที่ตามมาต่างกัน ก็ควรระบุว่ากำลังสมมติความเชื่อมโยงใดระหว่างสถานการณ์ บางครั้งข้อมูลเพิ่มเติมรองรับความเชื่อมโยงนี้อย่างดี บางครั้งยังเป็นสมมติฐานที่ฟังขึ้น ทั้งสองกรณีต้องรักษาที่มาของความมั่นใจไว้ มันอาจตั้งอยู่บนการสังเกตโดยตรง การเทียบเคียง กลไกร่วม หรือคำเล่าของแหล่งที่น่าเชื่อถือ เหตุผลรองรับเหล่านี้อาจทำงานร่วมกันได้ แต่ไม่ได้มีน้ำหนักเท่ากันเพียงเพราะถูกรวมไว้ในย่อหน้าที่โน้มน้าวใจย่อหน้าเดียว

เรามองข้ามการเชื่อมต่อขั้นนี้ได้ง่ายเป็นพิเศษเมื่องานวิจัยตรงกับประสบการณ์ส่วนตัว คนหนึ่งสังเกตมานานว่าการเตรียมตัวช่วยให้เขาจำแนกวัตถุคุ้นเคยได้ บทความใหม่จึงดูเหมือนตรารับรองทางวิทยาศาสตร์ให้ความประทับใจนั้น ความตรงกันอาจน่าสนใจในเชิงเนื้อหา แต่เหตุการณ์ส่วนตัวกับตัวชี้วัดในห้องทดลองก็ยังต่างกัน ไม่ต้องลดคุณค่าประสบการณ์ตนเองเพื่อยอมรับเรื่องนี้ เราอาจเก็บบันทึกทั้งสองไว้ว่า นี่คือสิ่งที่ฉันประสบและสังเกต ส่วนนี่คือสิ่งที่ผู้เขียนวัด แล้วค่อยถามแยกต่างหากว่าคล้ายกันตรงไหนและความคล้ายนั้นสิ้นสุดตรงไหน การอ่านเช่นนี้เคารพประสบการณ์ของคน เพราะไม่บังคับให้มันกลายเป็นสำเนาขั้นตอนของคนอื่นโดยไม่ทันรู้ตัว และเคารพงานวิจัย เพราะไม่ให้มันรับผิดชอบรายละเอียดทุกอย่างในเรื่องราวส่วนตัว

IX. การนำไปใช้ขึ้นอยู่กับต้นทุนของความผิดพลาดที่อาจเกิดขึ้น

งานวิจัยอาจน่าเชื่อถือพอสำหรับคำถามถัดไป แต่ยังไม่เพียงพอสำหรับการตัดสินใจที่สำคัญ ตรงนี้สิ่งที่เปลี่ยนไม่ได้มีเพียงระดับความมั่นใจ แต่รวมถึงภารกิจด้วย การเลือกหัวข้อสนทนาเป็นเรื่องหนึ่ง การตัดสินใจที่มีผลตามมาสำคัญเป็นอีกเรื่อง บทความนี้ไม่ได้เสนอคำแนะนำทางการแพทย์ กฎหมาย หรือการเงิน หลักในการเรียบเรียงที่เสนอนั้นจำกัดกว่านั้น คือข้อกำหนดเรื่องเหตุผลรองรับควรเหมาะกับการเชื่อมต่อที่คนตั้งใจจะทำ หากผู้อ่านต้องการอธิบายตัวชี้วัดหนึ่ง ก็ต้องใช้ข้อมูลชุดหนึ่ง หากต้องการแนะนำให้เปลี่ยนแนวปฏิบัติในวงกว้าง ก็ต้องใช้ข้อมูลอีกแบบ จะนำความเพียงพอสำหรับคำถามแรกไปใช้กับคำถามที่สองโดยอัตโนมัติ เพียงเพราะใช้บทความวิทยาศาสตร์เดียวกันไม่ได้

ต้นทุนของความผิดพลาดไม่ได้ทำให้ความจริงขึ้นกับความต้องการ แต่มีผลต่อวิธีลงมือเมื่อความรู้ยังไม่ครบ การตัดสินใจสมมติว่าจะย้ายบัตรคำบนโต๊ะเรียนเปิดให้สังเกตและปรับแก้กลับได้ ส่วนการตัดสินใจที่กระทบความปลอดภัยของคนอื่นต้องมีเหตุผลรองรับและความรับผิดชอบอีกแบบ ตัวอย่างเหล่านี้ไม่ได้กำหนดกฎสากลสำหรับทุกสาขา แต่แสดงว่าทำไมประโยคว่า «ข้อมูลสนับสนุน» จึงยังไม่ใช่จุดสิ้นสุดของการให้เหตุผลในทางปฏิบัติ ต้องรู้ว่าคิดจะทำอะไร มีทางเลือกอะไร และการนำผลข้ามไปใช้ผิดจะหมายถึงอะไร บางครั้งควรวิจัยต่อ บางครั้งควรพักการนำไปใช้ บางครั้งควรจำกัดข้ออ้าง การมีความไม่แน่นอนไม่ได้กำหนดให้ทำแบบเดียวกันในทุกสถานการณ์

ควรหลีกเลี่ยงอีกสุดขั้วหนึ่งด้วย คือเปลี่ยนการอ่านข้อจำกัดเป็นหน้าที่ที่ต้องตรวจวิทยาศาสตร์ทั้งหมดด้วยตนเองก่อนทำเรื่องธรรมดาทุกครั้ง คนมีสิทธิ์ใช้คำอธิบายที่มีผู้จัดเตรียมไว้และปรึกษาผู้เชี่ยวชาญในสาขาที่เกี่ยวข้อง แต่การมอบหมายให้ผู้อื่นประเมินไม่เท่ากับทำให้คำถามหายไป เราอาจถามให้ชัดว่าคำแนะนำตั้งอยู่บนข้อสรุปใด และตรงกับสถานการณ์ของตนหรือไม่ โดยไม่แสดงตนเป็นนักสถิติอิสระ ในการอ่านเพื่อเรียนรู้ เพียงระบุขอบเขตว่า ฉันเข้าใจการเปรียบเทียบที่ตีพิมพ์ แต่ไม่ได้วิเคราะห์ข้อมูลอย่างอิสระ ก็เพียงพอ คำตอบเช่นนี้มีวุฒิภาวะและมีสาระ รักษาโอกาสที่จะเรียนรู้ต่อ โดยไม่บังคับให้เลือกระหว่างการเป็นผู้เชี่ยวชาญเต็มตัวกับการยอมตามคำเล่าที่ฟังมั่นใจอย่างไร้เงื่อนไขทันที

X. ถ้อยคำสรุปควรใส่ขอบเขตไว้ภายใน

หลังอ่าน ควรลองเขียนประโยคเดียวที่รวมผลลัพธ์กับเงื่อนไขไว้ด้วยกัน สำหรับการทดลองที่กล่าวถึง อาจเขียนว่า ในการวิเคราะห์ผู้เข้าร่วมสิบแปดคน ภายใต้คำใบ้เสียงที่กำหนด แนวเอียงที่คาดหมายปรากฏร่วมกับการตอบสนองของเปลือกสมองส่วนการมองเห็นปฐมภูมิที่ลดลง และการจำแนกแนวเอียงจากรูปแบบกิจกรรมที่ดีขึ้น โดยผู้เขียนเสนอคำอธิบายที่สอดคล้องกับผลที่ปรากฏร่วมกันนี้ ประโยคเช่นนี้ยาวกว่าพาดหัว แต่รักษามาตรวัดสองอย่างและบริบทที่จำกัดไว้ ประโยคถัดไปควรระบุคำถามที่ยังเปิดอยู่แยกต่างหาก เช่น การนำผลไปใช้กับอีกภารกิจหนึ่ง ขอบเขตจึงไม่ได้ถูกซ่อนไว้ท้ายรายการข้อบกพร่องยาว ๆ แต่กลายเป็นส่วนหนึ่งของสิ่งที่งานวิจัยรายงานจริง และส่วนหนึ่งของสิ่งที่ผู้อ่านเข้าใจเกี่ยวกับงานนั้น

ไม่จำเป็นต้องใส่รายละเอียดระเบียบวิธีทุกอย่างในข้อสรุปสั้น ๆ สิ่งสำคัญคือเก็บเงื่อนไขที่หากขาดไปแล้วความหมายจะเปลี่ยนไว้ หากตัดความต่างระหว่างตัวชี้วัดออก ก็จะประเมินการลดลงของกิจกรรมผิด หากตัดข้อความที่ระบุว่าคำอธิบายเป็นของผู้เขียนออก การตีความก็จะกลายเป็นข้อเท็จจริงเพิ่มเติม หากตัดขั้นตอนที่มีขอบเขตเฉพาะออก ก็จะเกิดข้อสรุปครอบคลุมการรับรู้ทุกแบบ ความกระชับจึงได้มาจากการเลือกขอบเขตที่สำคัญ ไม่ใช่ทำให้ขอบเขตหายไป ผู้อ่านอาจตรวจคำเล่าของตนด้วยวิธีง่าย ๆ ว่า หลังย่อแล้วเกิดข้อสรุปใดขึ้นได้บ้าง ทั้งที่ข้อความเดิมไม่ได้รองรับ คำถามนี้เกี่ยวกับเนื้อหา ไม่ใช่ความยาวเชิงสำนวน บางครั้งการเติมคำชี้แจงเพียงอย่างเดียวทำให้ข้อความมีขอบเขตความหมายแคบลงและแม่นยำขึ้นพร้อมกันในสิ่งที่รับรอง

ข้อจำกัดของงานวิจัยไม่จำเป็นต้องเรียกร้องให้ผู้อ่านทำวิจัยใหม่ด้วยตนเอง บางครั้งเพียงเลิกตั้งคำถามส่วนเกินให้งานก็พอ เราอาจยอมรับว่างานแสดงผลการวัดที่ปรากฏร่วมกันอย่างน่าสนใจ แล้วไม่ใช้สิ่งนี้ตัดสินธรรมชาติของจิตสำนึก คุณค่าประสบการณ์ส่วนตัว หรือวิธีใช้ชีวิตที่ถูกต้อง สิ่งที่ยังเหลือให้ไม่รู้เช่นนี้ไม่ใช่ความพ่ายแพ้ของความเข้าใจ แต่แสดงว่าคำตอบยังอยู่ในขนาดที่เหมาะกับมัน การใส่ใจกรณีขัดแย้งของเบคอน การแยกประสบการณ์กับความคาดหมายของฮูม หลักสถิติของ ASA และขั้นตอนเฉพาะของค็อกมาพบกันตรงนี้ในฐานะโจทย์การเรียบเรียง ไม่ใช่หลักคำสอนหนึ่งเดียว นั่นคือให้เหตุผลรองรับเป็นตัวกำหนดความกว้างของข้ออ้าง ข้อสรุปที่แม่นยำยังมีประโยชน์เมื่อเห็นขอบเขตพร้อมกับเนื้อหาของมัน

สิ่งนี้หมายความว่าอย่างไรในทางปฏิบัติ

หากต้องการทำแบบฝึกโดยสมัครใจ ให้เลือกบทคัดย่องานวิจัยที่เข้าถึงได้ในหัวข้อที่เป็นกลาง จดคำถามของผู้เขียน กลุ่มที่ศึกษา เงื่อนไขที่เปรียบเทียบ และตัวชี้วัดหลัก หากส่วนที่อ่านไม่มีข้อมูลบางอย่าง ให้ระบุว่าข้อมูลนั้นไม่ปรากฏตรงนี้ อย่าเพิ่งประกาศว่าไม่มีข้อมูลนั้นในงานทั้งหมด ไม่จำเป็นต้องใช้เหตุการณ์สะเทือนใจส่วนตัวหรือตัดสินใจเรื่องสำคัญเพื่อทำแบบฝึก

จากนั้นแยกเป็นสามประโยคว่า อะไรถูกรายงานเป็นผล ผู้เขียนอธิบายผลนั้นอย่างไร และคุณเองอยากนำข้อสรุปไปใช้ที่ไหน หาหนึ่งเงื่อนไขซึ่งหากขาดไป คำเล่าของคุณจะกว้างกว่าต้นฉบับ แล้วเสนอการปรับแก้ที่เป็นไปได้ว่า ข้อมูลเพิ่มเติมใดอาจเปลี่ยนข้อสรุปของคุณโดยเฉพาะ หากคำตอบต้องพึ่งส่วนระเบียบวิธีที่ยังไม่ได้อ่าน ให้เปิดคำถามนั้นไว้และระบุขอบเขตนี้

ท้ายที่สุด เขียนประโยคสั้นที่มีเงื่อนไขอยู่ภายในว่า «ในกลุ่มแบบนี้ ภายใต้การเปรียบเทียบแบบนี้ ตามตัวชี้วัดนี้ พบผลอย่างนี้ ส่วนคำถามนี้ยังเปิดอยู่» แบบฝึกนี้ช่วยจัดระเบียบการให้เหตุผล ไม่ใช่การทดสอบสติปัญญา ความสามารถทางวิทยาศาสตร์ หรือวิธีบำบัดที่ได้รับการยืนยัน หยุดได้เมื่อภารกิจไม่เป็นประโยชน์แล้ว ผลของแบบฝึกคือบันทึกความเข้าใจของตนที่แม่นยำขึ้น ไม่ใช่การรับรองบทความทางวิทยาศาสตร์โดยอิสระ

คำกล่าวสำคัญ

«การอนุมานที่เหมาะสมต้องมีการนำเสนออย่างครบถ้วนและความโปร่งใส» — ASA, ประกาศทางการวันที่ 7 มีนาคม 2016, หลักการ 4; บทความรัสเซียแปลเอง

ความเชื่อมโยงระหว่างขนบความคิด

การเปรียบเทียบ	ความเชื่อมโยงเชิงเนื้อหาและขอบเขต
เบคอน I.XLVI และ ASA หลักการ 4	ทั้งสองบริบทเปิดให้ถามว่าเหตุผลรองรับใดถูกละไว้นอกการพิจารณา เบคอนบรรยายแนวโน้มของจิต ส่วน ASA กำหนดข้อเรียกร้องทางสถิติเรื่องความโปร่งใส ทั้งสองไม่ใช่วิธีเดียวกัน
ฮูม V และ ASA หลักการ 1–2	การเคลื่อนไปสู่ความคาดหมายและการอนุมานทางสถิติต่างต้องแยกเหตุผลรองรับออกจากความเชื่อที่กว้างกว่า ฮูมไม่ได้นิยามค่า p หรือใช้แทนแบบจำลองทางสถิติ
ASA หลักการ 5 และค็อกกับคณะ	ขนาด ความสำคัญ และปริมาณเฉพาะที่วัดเป็นคนละอย่าง ขนาดการตอบสนองกับการจำแนกในการทดลองไม่ได้รวมกันด้วยคำว่า «ดีขึ้น» ASA ไม่ได้ยืนยันการทดลองเฉพาะนี้
เบคอน I.XLVI และส่วนวิธีการของค็อก	การมองเห็นขั้นตอนจากการรับยี่สิบคนไปสู่การวิเคราะห์สิบแปดคนช่วยให้พูดถึงการตัดออกอย่างเจาะจง การตัดออกเองไม่ใช่การหลีกหนีกรณีที่ไม่เข้าทางแบบที่เบคอนกล่าวถึง
ฮูม V และการทดลองของค็อก	ผลของขั้นตอนกับความคาดหมายว่าจะนำไปใช้กับอีกภารกิจได้เป็นคนละอย่าง นี่เป็นการนำข้อโต้แย้งปรัชญามาใช้ในการเรียบเรียง ไม่ใช่การทดสอบข้อโต้แย้งนั้นทางประสาทวิทยา
เบคอน I.XLVI และฮูม V	ข้อสรุปที่คุ้นเคยอาจต้องปรับเมื่อพบกรณีใหม่ บริบทแรกกล่าวถึงการสนับสนุนข้อเสนอที่รับไว้ ส่วนบริบทที่สองกล่าวถึงที่มาของความคาดหมาย ที่นี่ไม่ได้ยืนยันอิทธิพลทางประวัติศาสตร์ระหว่างกัน

แหล่งปฐมภูมิ

1. ฟรานซิส เบคอน, Novum Organum, ฉบับภาษาอังกฤษที่โจเซฟ เดวีย์เป็นบรรณาธิการ ฉบับพิมพ์ปี 1902, Project Gutenberg 45988 บทความรัสเซียระบุว่าอ่าน I.XLVI ครบแล้ว และยังไม่ทราบผู้แปลข้อความภาษาอังกฤษ เป็นข้อโต้แย้งทางประวัติศาสตร์ว่าด้วยการสนับสนุนข้อเสนอที่รับไว้ ไม่ใช่การทดลองทางจิตวิทยาสมัยใหม่
2. เดวิด ฮูม, An Enquiry Concerning Human Understanding, ต้นฉบับภาษาอังกฤษพร้อมการแบ่งข้อความโดยบรรณาธิการของ Hume Texts Online, V.2–12 บทความรัสเซียระบุว่าอ่านย่อหน้าที่เลือกเกี่ยวกับความเคยชิน ความคาดหมาย และความเชื่อ ไม่ได้อ้างว่าอ่านทั้งเล่ม การประยุกต์กับการอ่านงานวิจัยเป็นการเปรียบเทียบในการเรียบเรียง
3. American Statistical Association, ประกาศอย่างเป็นทางการเกี่ยวกับค่า p, 7 มีนาคม 2016, หน้า 1–2 ซึ่งมีบริบทนำและหลักการหกข้อ บทความรัสเซียระบุว่าอ่านหน้าเหล่านี้แล้ว ไม่ได้อ้างว่าอ่านบทความฉบับเต็มในวารสารซึ่งขยายความแต่ละหลักการ ประกาศนี้ไม่ได้วิเคราะห์การทดลองของค็อก
4. Peter Kok, Janneke F. M. Jehee, Floris P. de Lange, Less Is More: Expectation Sharpens Representations in the Primary Visual Cortex, Neuron 75, 265–270, 2012, DOI 10.1016/j.neuron.2012.04.034 บทความปฐมภูมิภาษาอังกฤษ บทความรัสเซียระบุว่าอ่านส่วนวิธีการ ผลลัพธ์ และบทอภิปรายที่เลือก ได้แก่ การรับผู้เข้าร่วมและการตัดออก ภารกิจ ขนาดการตอบสนอง การจำแนก และการตีความ ไม่ได้อ่านเอกสารเสริมหรือคำนวณข้อมูลใหม่โดยอิสระ

แท็ก

การอ่านงานวิจัย, ข้อจำกัด, ข้อสรุปทางวิทยาศาสตร์, แหล่งปฐมภูมิ, วิธีการ, ขั้นตอน, กลุ่มตัวอย่าง, ผู้เข้าร่วม, การตัดออก, การวัด, ตัวชี้วัด, ขนาดการตอบสนอง, การจำแนก, เปลือกสมองส่วนการมองเห็น, ความคาดหมาย, คำใบ้, สถิติ, ค่า p, ขนาดอิทธิพล, ความโปร่งใส, การตีความ, การสรุปทั่วไป, การนำผลข้ามไปใช้, ความไม่แน่นอน, การตรวจสอบ, เบคอน, ฮูม, ASA, ค็อก, ญาณวิทยา

เกี่ยวกับผู้เขียน

Andrey Zarinsh — ผู้เขียนและผู้ก่อตั้งโครงการ United Wisdom ศึกษาประเด็นการเปลี่ยนแปลงภายใน ความเป็นหนึ่งเดียวของขนบความคิด บทสนทนาระหว่างวัฒนธรรม และวินัยทางจิตวิญญาณร่วมสมัย Instagram: @andrey.zarinsh.

Maria Evilkut — ผู้เขียนร่วมของ United Wisdom นอกจากงานค้นคว้าแล้ว เธอยังมุ่งทดลองแนวคิดเหล่านี้ในทางปฏิบัติ และสังเกตว่าหลักความเป็นหนึ่งเดียวและความเข้าใจกันทำงานอย่างไรในชีวิตจริงระหว่างผู้คนและวัฒนธรรม Instagram: @ilkutki.