گزارش ساخت اپل آی دی؛
آن سوی تاریک علم را روشن کنید
ساخت اپل آی دی: اغلب دانشمندان به دلیلهای مختلف تمایل دارند که تنها نتایج مثبت مطالعات خودرا گزارش و منتشر کنند. پژوهشگران بدنبال روش هایی هستند که آنها را به انتشار نتایج منفی نیز تشویق کنند.
به گزارش ساخت اپل آی دی به نقل از مهر، هدف از انتشار مقالات علمی این است که پژوهشگران همکاران خودرا از یافته های مطالعات خود آگاه کنند. موضوعی که در دهه اخیر موجب بروز چالش هایی جهانی در عرصه پژوهش شده، این است که تمامی مطالعات و پژوهش های انجام شده توسط پژوهشگران به نتایج مثبت منتج نمی شوند؛ بلکه بخش قابل توجهی از مطالعات نتیجه منفی دارند و به نتیجه ای پوچ و بی مدلول می رسند. با اینحال بیشتر پژوهشگران به دلیلهای مختلف تمایل دارند که تنها نتایج مثبت مطالعات خودرا گزارش و منتشر کنند. همین موضوع چالش های مختلفی را بهمراه داشته است و سبب شده که برخی پژوهشگران بدنبال راه های جدیدی برای تشویق همکارانشان به انتشار نتایج منفی باشند.
مجله نیچر در گزارشی به بررسی موانع انتشار نتایج منفی و مشوق های جدید برای انتشار بیشتر این نتایج پرداخته است.
درخواست از پژوهشگران برای اینکه مطالعات شکست خورده خودرا منتشر کنند، موضوع جدیدی نیست و سال ۱۹۷۹ توسط «رابرت روزنتال»؛ روانشناس توصیف شد. این مشکل که از آن با نام مشکل «کشوی پرونده» یاد می شود، به انبوهی از نتایج منتشرنشده و منفی اشاره دارد که پژوهشگران آنها را جمع آوری می کنند. بگفته روزنتال؛ منتشر نکردن نتایج منفی منجر به سوگیری در سابقه علمی می شود. این شکاف ناشی از حذف نتایج ناموفق، سبب می شود بر نتایج مثبتی که انتشار یافته اند بیش از اندازه تاکید شود.
«ساراهان فیلد» سردبیر مجله Journal of Trial & Error (مجله آزمون و خطا) و گروه همکارانش بدنبال برجسته کردن سمت «زشت علم» هستند؛ همان قسمتی از پروسه علم که اشتباه پیش رفته است. این مجله از سال ۲۰۲۰ منتشر می شود و سردبیر و هیأت تحریریه این مجله تاکید می کنند که به مقالاتی علاقه مندند که با وجود روش شناسی درست، نتیجه ای غیرمنتظره داشته اند. فیلد؛ سردبیر این مجله که پژوهشگر علوم با دسترسی باز در دانشگاه گرونیگن هلند است، توضیح می دهد: این نوع نتایج که فرضیه ای را ثابت نمی کنند یا می توانند نتایج غیر قابل توضیحی داشته باشند، اغلب توسط نشریات بسادگی منتشر نمی شوند. او و «استفان گیلارد»، یکی از بنیان گذاران مجله، امیدوارند که این وضعیت را تغییر دهند.
در ۳۰ سال قبل نسبت انتشار نتایج منفی کمتر نیز شده است. یک مطالعه در سال ۲۰۱۲ نشان داد که از سال ۱۹۹۰ تا ۲۰۰۷ نتیجه گیری مثبت در مقالات ۲۲ درصد بالا رفته است و تا سال ۲۰۰۷، ۸۵ درصد از مقالات منتشرشده، نتایج مثبت داشته اند. فیلد می گوید پژوهشگران در گزارش دادن نتایج منفی موفق نیستند؛ برای اینکه می دانند که این مقالات منتشر نمی شوند و زمانی که آنها تلاش می کنند نتایج منفی مطالعات خودرا منتشر کنند، این مقالات رد می شوند. یک نظرسنجی از پژوهشگران شیمی، فیزیک، مهندسی و علوم محیطی فرانسوی در سال ۲۰۲۲ نشان داد که بااینکه ۸۱ درصد از این پژوهشگران در طول کار خود به نتایج منفی نیز دست یافته بودند و ۷۵ درصد از آنها تمایل به انتشار این نتایج داشتند، ولی تنها ۱۲ درصد از آنها فرصت انجام این کار را به دست آورده بودند.
پژوهشگران در گزارش دادن نتایج منفی موفق نیستند؛ برای اینکه می دانند که این مقالات منتشر نمی شوند و زمانی که آنها تلاش می کنند نتایج منفی مطالعات خودرا منتشر کنند، این مقالات رد می شوند. منتشر نکردن یافته های منفی پروسه یادگیری ماشین را مختل می کند
یکی از عواملی که تعدادی از پژوهشگران را به سمت این مشکل سوق می دهد، این است که در خیلی از رشته ها و زمینه های علمی استفاده از روش «مدل سازی پیش بینی کننده» با بهره گیری از ابزارهای یادگیری ماشین بصورت رو به رشد بالا رفته است. ابزارهای یادگیری ماشین با بهره گیری از مجموعه داده های بزرگی که اغلب شامل مطالعات منتشرشده هستند، آموزش داده می شوند. بنا بر این دانشمندان دریافته اند که نبود ِ داده های منفی در ادبیات و پیشینه تحقیق ها پروسه یادگیری ماشین را مختل می کند. بدین سبب نیاز است که برای انتشار نتایج منفی بیشتر یک تلاش هماهنگ صورت گیرد. در صورتیکه انتشار نتایج منفی بیشتر نشود و هوش مصنوعی نتواند از داده های آن برای پروسه یادگیری ماشین استفاده نماید، وعده هایی که در ارتباط با این فناوری مطرح می شود، محقق نمی گردد.
«کیسوکه تاکاهاشی» شیمیدان دانشگاه هوکایدو ژاپن این مساله را در مطالعات مربوط به یافتن کاتالیزورها مورد توجه قرار داده است و می گوید: یادگیری ماشین نحوه تفکر ما را در مورد داده ها تغییر می دهد. دانشمندان این زمینه علمی در آزمایش های خود برای یافتن یک کاتالیزور جدید به طور معمول به تلفیقی از آزمون و خطا و یافته اتفاقی تکیه دارند؛ اما این امید وجود دارد که هوش مصنوعی بتواند مسیر جدیدی برای کشف کاتالیزور جدید فراهم آورد. تاکاهاشی و همکارانش برای پیش بینی بهترین کاتالیزور برای واکنش بین متان و اکسیژن برای تشکیل اتان و اتیلن که هر دو از مواد شیمیایی مهم مورد استفاده در صنعت هستند، از داده های ۱۸۶۶ مطالعه و پتنت قبلی استفاده کردند تا بتوانند یک مدل یادگیری ماشین را آموزش دهند. اما این پژوهشگر می گوید: در طول سال ها پژوهشگران فقط داده های خوب را گردآوری کرده اند و شکست های خودرا گزارش نداده اند. این مساله به ایجاد یک مدل تحریف شده منجر گردیده است که در بعضی موارد بجای اینکه خواص یک ماده را بطور واقعی ارزیابی کند، عملکرد پیش بینی شده آن ماده را افزایش داده است.
در طول سال ها پژوهشگران فقط داده های خوب را گردآوری کرده اند و شکست های خودرا گزارش نداده اند، همین سبب شده پژوهش های مبتنی بر مدل سازی با مشکل مواجه شوند.
سمت «آشفته علم» چگونه هوش مصنوعی را گیج می کند؟
یکی دیگر از دانشمندان شیمی آلی سنتتیک نیز هنگام استفاده از روش های مبتنی بر داده برای بهینه کردن بازده برخی واکنش های شیمیایی دارویی با سوگیری نتایج مثبت روبه رو شده است. او بدنبال ایجاد مدل هایی بود که بتواند پیش بینی نماید کدام واکنش دهنده ها و چه شرایطی می توانند بازده را به حداکثر برسانند. برای این کار ابتدا او برای آموزش هوش مصنوعی خود از داده هایی که آزمایش های با توان عملیات بالا که در لابراتوار ساخته بود، استفاده نمود. این داده ها شامل نتایج واکنش های با بازده بالا و هم بازده پایین بودند. در گام بعدی همین کار را با بهره گیری از داده های تحقیقات قبلی و پیشینه پژوهش انجام داد. اما وقتی او از داده های واقعی موجود در پایگاه داده در پروسه آموزش هوش مصنوعی استفاده کرد، مشخص شد که این داده ها کار نمی کنند. دلیل این خطاها نبود واکنش های کم بازده بوده است. داده های موجود در پیشینه تحقیقات، به طور متوسط بین ۶۰ تا ۸۰ درصد بازدهی دارند و زمانی که آزمایش های ناموفق و شکست خورده در میان داده های واقعی وجود نداشته باشد، هوش مصنوعی نمی تواند نتایج واکنش های واقعی را مدل سازی کند.
هوش مصنوعی این پتانسیل را دارد که روابط داده های پیچیده که ممکنست پژوهشگر آنها را نبیند، شناسایی کند ولی پژوهشگران و افرادی که آزمایش ها را انجام می دهند با مواجهه با نتایج منفی یک حس و شهود درونی پیدا می کنند. زمانی که هوش مصنوعی تنها با داده های موفق آموزش می بینند، این شهود انسانی را ندارند. به همین دلیل پژوهشگران بدنبال آن هستند که چیزی شبیه به این شهود انسانی را در یک مدل هوش مصنوعی قرار دهند.
با آموزش دادن هوش مصنوعی برمبنای داده های موفق و شکست خورده تا حدودی می توان این کار را انجام داد. ولی مدلهای هوش مصنوعی هم اکنون گرفتار محدودیت هستند چونکه داده های موجود، تمام دانش را منعکس نمی کنند. برخی پژوهشگران بدنبال راهکارهای آماری برای پر کردن شکاف داده های منفی هستند. برای مثال با بهره گیری از نمونه برداری بیش از اندازه و تکمیل داده ها با چندین نسخه از داده های منفی و یا ایجاد داده های ساختگی است. اما این نوع رویکردها نیز می توانند سوگیری های خاص خودرا داشته باشند.
به همین دلیل برای برخی پژوهشگران جمع آوری داده های منفی بیشتر اولویت دارد و به زیرساختی برای اشتراک گذاری آزادانه داده نیاز دارند. تاکاهاشی و گروه او وب سایتی برای اشتراک گذاری داده های تجربی برای واکنش های کاتالیزوری به وجود آورده اند و سازمان های دیگری نیز در کوشش برای جمع آوری و انتشار داده هستند. اما این اقدامات هنوز هماهنگ نیستند و فرمت داده های آنها نیز یکسان نیست.
استقبال نیچر از مطالعات تکراری و پوچ علمی!
در رشته های دیگر همچنان بر مجلات معتبری که نتایج منفی را منتشر می کنند تاکید می شود. گیلارد دانشجوی دکترای مطالعات علوم در دانشگاه رادبود در نایمگن هلند، بعد از شرکت در گفتگوها در مورد اینکه علم را چطور میتوان در دسترس تر کرد، مجله Journal of Trial & Error (آزمون و خطا) را بنیان کرد. گیلارد می گوید که بااینکه همه کسانی که با آنها تماس گرفته اند ایده مجله را پسندیده اند؛ اما هیچ کس در ابتدا نمی خواست مقاله ارسال نماید. او و گروه تحریریه مؤسس کمپینی را شروع کردند و در کنفرانس های علمی آزاد تبلیغات کردند. او می گوید: آهسته آهسته ما آغاز به دریافت نخستین مقاله ها کردیم. حالا بدون اینکه از افراد خواسته شود، کارهای خودرا ارسال می کنند. بیشتر سال ها مجله یک شماره شامل حدود ۸ تا ۱۴ مقاله منتشر می کند و مابقی مقالات را در شماره های ویژه منتشر می کند. این مجله عمدتا بر روی علوم زیستی و علوم اجتماعی مبتنی بر داده تمرکز دارد.
برخی نشریات ترجیح خودرا برای انتشار نتایج منفی تغییر داده اند و به صراحت اشاره کردند که نتایج منفی را نیز منتشر می کنند. نیچر نیز از ارسال مطالعات تکراری و آن هایی که شامل نتایج پوچ هستند، استقبال می کند.
در سال ۲۰۰۸ دیوید آلکانترا دانشجوی دکترای شیمی در دانشگاه سویل اسپانیا که در آن زمان از نبود بستری برای اشتراک گذاری نتایج منفی ناامید شده بود، مجلات The All Results را راه اندازی نمود که هدف آن انتشار نتایج بدون توجه به نتیجه بود. از چهار رشته ای که در زمان راه اندازی گنجانده شده بود، فقط مجله زیست شناسی درحال پخش است. آلکانترا که حالا رییس سازمان مشاوره و آموزش انجمن بهبود علم در سویل است، می گوید: جذب آثار ارسالی همیشه یک چالش بوده است. اما آلکانترا فکر می کند که تغییری در نگرش ها انجام شده است: مجله های معتبرتر بطور فزاینده ای برای انتشار نتایج منفی در دسترس قرار می گیرند. گیلارد موافق است و می گوید: من مجلات بیشتری مانند PLoS ONE را دیده ام که به صراحت اشاره کردند که نتایج منفی را نیز منتشر می کنند. نیچر نیز از ارسال مطالعات تکراری و آن هایی که شامل نتایج پوچ هستند، استقبال می کند.
ممکن است مجلات ترجیحات انتشار خودرا تغییر دهند اما بازهم بازدارنده های قابل توجهی وجود دارد و پژوهشگران را از انتشار نتایج منفی و پوچ باز می دارد. سیستم دانشگاهی فعلی برای پیشرفت شغلی، اختصاص کمک هزینه ها و جذب، اغلب نشریات پرتاثیر و اکتشافات پیشگامانه را در اولویت قرار می دهند و نتایج منفی کمک چندانی به این تلاش ها تلقی نمی شود. بعلاوه هنوز هر گونه شکست ممکنست برای پژوهشگر یک ننگ باشد. همین طور مردم می ترسند که این مساله در رزومه آنها منفی به نظر برسد. بعلاوه گزارش آزمایش های ناموفق می تواند یک موقعیت بدون بُرد برای دانشگاهیان باشد. انتشار نتایج منفی منجر به کار بیشتر برای پژوهشگران می شود؛ در صورتیکه در کوتاه مدت چیزی در ازای این اقدامات دریافت نمی کنند.
در نهایت بیشتر پژوهشگران به این نتیجه می رسند که انتشار مطالعات ناموفق و داده های منفی ارزش صرف وقت و تلاش را ندارد و شواهدی وجود دارد که نشان میدهد آنها پژوهش های منفی دیگران را مشکل تر از نتایج مثبت قضاوت می کنند. در مطالعه ای که در ماه آگوست انتشار یافته است، ۵۰۰ پژوهشگر از بخش های برتر اقتصاد در سرتاسر جهان بطور تصادفی در دو گروه قرار گرفتند و از آنها خواسته شد تا یک مقاله پژوهشی فرضی را داوری کنند. به نیمی از شرکت کنندگان گفته شد که این مطالعه نتیجه باطل دارد و به نیمی دیگر گفته شد که نتایج بطور قابل توجهی مهم و مدلول دار است. احتمال انتشار مقالاتی که به داوران گفته شده بود، نتایج باطل دارند ۲۵ درصد کم تر از مطالعاتی بود که گفته شده بود دارای یافته های آماری قابل توجهی هستند.
برخی از پژوهشگران در مورد به اشتراک گذاشتن یافته های ناموفق خود، تجربیات مثبتی داشتند. برای مثال در سال ۲۰۲۱ روان شناسی به نام «وندی رأس» در دانشگاه متروپلیتن لندن نتایج منفی خودرا در مورد آزمایش فرضیهای در مورد حل مسئله انسانی در مجله آزمون و خطا منتشر نمود و می گوید که این مقاله بهترین مقاله ای بود که من تا به امروز منتشر نموده ام. درک دلیلهای نتایج باطل واقعاً می تواند درک نظری ما را محک بزند و آنرا گسترش دهد.
راه حل هایی برای افزایش انتشار داده های منفی
رشته روان شناسی یک نوآوری را معرفی کرده است که می تواند سوگیری نشر را تغییر دهد. این نوآوری انتشار گزارش های ثبت شده (registered reports یا RRs) است که برای نخستین بار در سال ۲۰۱۴ و عمدتا در پاسخ به بحران تکرارپذیری در مطالعات روان شناسی به وجود آمد.
گزارش های ثبت شده روش شناسی یک مطالعه را پیش از مشخص شدن نتایج تعیین می کنند تا از گزارش دادن انتخابی نتایج مثبت جلوگیری نمایند. در این گزارش ها ابتدا، روش ها و تحلیل های پیشنهادی پیش از جمع آوری و تحلیل و بررسی داده ها توسط داوران بررسی می شوند و بطور موقت منتشر می شوند. بعد از جمع آوری نتایج سپس نویسندگان مقاله را نهایی می کنند تا نتایج و بحث را در بر گیرد و نسخه کامل نیز مجدداً مورد بازنگری قرار می گیرد. این گزارش ها برای کاهش سوگیری انتشار و اشکال مختلف سوگیری گزارش دهی طراحی شده اند. دنیل لِیکنز که در دانشگاه فناوری آیندهوون هلند، ساختار پاداش علم را مطالعه می کند، می گوید شواهدی وجود دارد که «گزارش های ثبت شده»، نسبت نتایج منفی را در پیشینه مطالعات روان شناسی می افزاید.
در مطالعات سال ۲۰۲۱ لِیکنز نسبت گزارش های ثبت شده انتشار یافته ای که در آنها نتایج در نهایت از فرضیه اولیه پشتیبانی می کردند را تحلیل کرد. در یک نمونه تصادفی از مطالعات آزمون-فرضیه از پیشینه روان شناسی استاندارد، ۹۶ درصد از نتایج مثبت بود ولی در گزارش های ثبت شده این میزان به ۴۴ درصد کم شد. لِیکنز می گوید این مطالعه نشان میدهد که اگر این را به عنوان یک گزینه پیشنهاد دهید، نتایج باطل بیشتری وارد ادبیات علمی می شود و این مساله امری مطلوب است». حداقل ۳۰۰ مجله شامل نیچر، گزارش های ثبت شده را می پذیرند و این قالب به مجلات زیست شناسی، پزشکی و برخی زمینه های علوم اجتماعی درحال گسترش است.
با این حال رویکرد دیگری از رشته «رایانش فراگیر»؛ مطالعه نحوه ادغام سیستم های کامپیوتری با محیط فیزیکی و زندگی روزمره درحال ظهور است. الا پلتونن از دانشگاه اولو فنلاند می گوید: حدود چهار سال پیش، اعضای این جامعه آغاز به بحث در مورد تکرارپذیری کردند. پلتونن می گوید: پژوهشگران دریافتند که برای جلوگیری از تکرار اشتباهات، در مورد مشکلات عملی با مطالعات و نتایج ناموفق که منتشر نمی گردد، بحث وجود دارد. بدین سبب پلتونن و همکارانش نخستین کارگاه بین المللی در مورد نتایج منفی در رایانش فراگیر را با نام PerFail به همراه کنفرانس سالانه این رشته با عنوان کنفرانس بین المللی رایانش و ارتباطات فراگیر برگزار کردند.
تلاش مداوم برای متقاعد کردن دانشمندان برای به اشتراک گذاشتن تمام نتایج خود باید در طولانی مدت با سیاست های آژانس های تامین مالی و نشریاتی که به شفافیت کامل پاداش می دهند، همراه باشد. پلتونن توضیح می دهد که سخنرانان PerFail نتایج منفی خودرا ارائه می کنند و سپس در مورد آن گفتگو می شود. در ضمن آن شرکت کنندگان می گویند که چگونه مطالعات ناموفق می تواند به کارهای آینده کمک نماید. او می افزاید: این گفتگوها جامعه را تشویق می کند تا نشان دهد که کارها نیازمند آزمون و خطا هستند و این باارزش است. این کارگاه حالا یک رویداد سالانه است و برگزارکنندگان آن از دانشجویان دعوت می کنند تا در آن شرکت نمایند تا ببینند شکست قسمتی از پروسه پژوهش است.
انتشار داده های منفی علم رو به افزایش است
با این وجود باید توجه داشت که تلاش مداوم برای متقاعد کردن دانشمندان برای به اشتراک گذاشتن تمام نتایج خود باید در طولانی مدت با سیاست های آژانس های تامین مالی و نشریاتی که به شفافیت کامل پاداش می دهند، همراه باشد. شاخص ها برای اختصاص کمک هزینه ها، ترفیع و جذب، باید ارزش انتشار پژوهش های جامع شامل شکست ها و نتایج منفی را بشناسد. سرمایه گذاران نیز می توانند کلیدی برای تقویت «گزارش های ثبت شده» باشند. سرمایه گذاران باید بگویند: ما می خواهیم پژوهش هایی که بودجه شان را تامین می نماییم، بدون توجه به اهمیت یافته ها در پیشینه تحقیقات ظاهر شوند.
در حال حاضر نشانه هایی مثبت در تغییر اشتراک گذاری داده های منفی نیز وجود دارد. پژوهشگران تازه کار و خصوصاً نسل بعدی دانشمندان پذیرای این ایده هستند. علاقه پژوهشگران به انتشار مقالاتشان در مجله Journal of Trial & Error (مجله آزمون و خطا) خصوصاً در رشته پزشکی درحال افزایش است. البته که این پروسه کند است اما باید توجه داشت که علم بطور کل کمی کند است.
منبع: ساخت اپل آی دی
این مطلب را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب