This is the translation. The source page is located here: https://www.cs.purdue.edu/homes/dec/essay.research.measure.html
Douglas E. Comer
Въпреки че на младите компютърни учени се казва, че трябва да представят резултати от изследвания, не са посочени точни изисквания. Вместо това изследователите обикновено се насърчават неясно да постигнат нещо „значително“ или да имат „висококачествени публикации“, без никакво точно обяснение какво означава това.
За младши изследовател може да изглежда, че сред възрастните хора има конспирация – че те имат някакъв таен начин за оценка на изследванията, но не желаят да го разкрият. В края на краищата човек вероятно ще чуе неясно твърдение като: “изследването просто означава натрупване на знания” или по-малко умно: “Трудно е да се определи, но познавам добри изследвания, когато го видя.”
Причината младши служител да не може да получи по-точно обяснение как да се измерват научните изследвания е, че не съществува едно-единствено обяснение. Вместо това има разнообразие от мерки – всяка група е склонна да използва мярка, която максимизира своите цели. Всъщност, някой иска да направи точка в полза или срещу човек, той избира мярка, която помага.
Ако сте младши изследовател, това ръководство е за вас. В него са изброени мерки, обяснява се всеки и се предоставят реалните факти. Познаването на списъка ще ви помогне да впечатлите другите, когато говорите за изследвания и ще ви помогне да избегнете клопки.
Журнален подход на хартия
(предпочитано от издателите на списания)
Мярка: N, общият брой публикувани статии.
Обосновка: Изследовател, който генерира нова идея, пише статия, която след това се преглежда от колеги и в крайна сметка се публикува в архивно списание. По този начин броят на хартиите е мярка за производителност.
Действителни факти: Стандартите за публикуване се различават значително, като някои конференции и списания приемат всички материали, а други – само няколко. По-важното е, че почти всички изследвания са безполезни; всъщност никой не чете вестниците. (Едно проучване изчислява, че средно дадена научна статия се чете от .5 души, като броят им се изкривява нагоре от малкото статии, които се четат от хиляди).
Предупреждения: Въпреки че те твърдят обратното, комисиите по управление на властта използват тази мярка, защото е много по-лесно да се броят документи, отколкото да се оценява тяхната заслуга. Обърнете внимание, че хората със сива коса са особено любители на тази мярка, защото печелят, като я цитират – тяхната лична стойност на N е много по-висока от тази на млад изследовател. Когато използвате тази мярка, не се хвалете със съавтори, защото кредитът намалява, когато дадена статия има множество автори.
Подход за скоростта на публикуване
(предпочитано от млади изследователи)
Мярка: N/T, съотношението на общо публикуваните статии към времето, в което са публикувани.
Обосновка: Броят на хартиите е недостатъчен, тъй като не измерва производителността – ако изследовател публикува 10 статии за една година, те са изключително продуктивни, но ако публикуват 10 статии за цял живот, те са изключително непродуктивни.
Действителни факти: процентът на публикациите на изследователя варира във времето; истинските пикове настъпват непосредствено преди дадено лице да бъде разгледано за повишение и процентът обикновено намалява драстично в годините преди пенсиониране. По този начин, когато изследователят остарява, те престават да говорят за N/T и се връщат към измерване на N. Предупреждение: Комитетите за владение са предпазливи към всеки, който цитира тази мярка. Освен това, бъдете реалисти – куп сиви коси, стари момчета няма да ви възнаградят за висок процент, когато те самите са изправени пред процент, който е паднал.
Подход с претеглена публикация
(за предпочитане от агенциите по акредитация)
Мярка: W, сумата от теглата, определени за публикувани статии.
Обосновка: Тъй като някои статии представляват по-голямо интелектуално постижение от други, всяка хартия трябва да получи тежест, пропорционална на качеството. Вместо да броите хартии, трябва да се използва сумата от теглата. Например, на не-изследователски статии може да бъде присвоено тегло с нула или почти нула.
Действителни факти: Вместо да оценяват всяка отделна хартия, хората, които използват този метод, просто присвояват на всеки журнал тежест според неговия престиж и след това използват стойността за всяка хартия, която се появява в дневника. Разбира се, престижът на списанието варира във времето и няма такова нещо като списание, в което всички статии да са с еднакво качество, но това изглежда няма значение. Красотата на мярката е, че при набор от публикации човек може да избере тежести, за да изглежда списъкът добър или лош.
Предупреждение: Когато обсъждате тази мярка, не забравяйте, че изборът на тежести е произволен и че въпреки че дадено лице може да представи доказателства, които да оправдаят избора си, в крайна сметка изглежда, че всички предпочитат набор от тежести, които дават на личния им списък с публикации висок ранг.
Подходът на милиони маймуни
(за предпочитане от правителствените агенции)
Мярка: G, общата сума на парите на данъкоплатците, разпределени за изследвания.
Обосновка: При достатъчно дълго време, произволен набор от изследователи, които се блъскат с клавиатури, в крайна сметка ще напишат статия за нещо, което ще бъде от полза за страната. За да стимулира повече изследователи да произвеждат повече статии, правителството събира предложения и дава пари на “най-добре”. Очевидно е, че даването на повече пари ще стимулира повече статии, което ще увеличи ползата за страната.
Действителни факти: Системата за отпускане е по-близка до лотария, отколкото до национална изгода. За да се гарантира, че всичко е равно на “равно”, държавните агенции често следват политически дневен ред, което означава, че вероятността за получаване на безвъзмездна помощ може да зависи от фактори като размера на институцията, нейното географско местоположение, раса и пол. в краен случай кандидатът ще получи писмо, в което ще ги информира, че е избран за безвъзмездна помощ, но трябва да преразгледа предложението си, тъй като научното съдържание е неприемливо.
Предупреждение: Не го приемайте лично по един или друг начин – ако получите държавна субсидия не означава непременно, че имате страхотна идея, нито отказът на държавна субсидия означава, че идеята е безполезна.
Подход за директно финансиране
(предпочитано от ръководителите на отдели)
Мярка: D, общата сума от безвъзмездни средства, придобити от изследовател.
Обосновка: Изследователите, на които се отпускат безвъзмездни средства за изследването, трябва да имат добри идеи (или агенцията, предоставяща средства, не би присъдила парите). По този начин, повече пари трябва да означават повече идеи.
Действителни факти: Ръководителите на отдели се интересуват само от това да впечатлят деканите и ръководителите на отдели в други институции – те обичат да се хвалят с общата сума от безвъзмездни средства, внесени от всички членове на техния отдел. За съжаление размерът на безвъзмездните средства, които могат да бъдат събрани, зависи повече от наличната сума, отколкото от качеството на предложените изследвания. Правителствата раздават повече, когато касата им препълва (или когато това има някакво политическо предимство); индустрията дава много повече, когато печалбите са високи (или когато могат да получат отписване на данъци).
Предупреждение: Отново не четете твърде много в безвъзмездните средства – без значение какво казва някой, сумата, която получавате (малко или много) не винаги е пропорционална на качеството на вашите идеи.
Подход за непряко финансиране
(за предпочитане от университетските администратори)
Мярка: O, общо генерираните режийни долари.
Обосновка: Когато на изследовател се присъдят N долара държавни средства, 1/3 от тях се определят като “непреки разходи” или “режийни разходи”, които плащат за такива неща като офис площи, електричество и счетоводители, които следят на разходите за безвъзмездната помощ. Режийните разходи са мярка за това колко изследователят е донесъл в институцията.
Действителни факти: Офис площите са необходими със или без субсидия, а големите изследователски институции вече разполагат със счетоводни процедури и системи. По този начин индиректните разходи са само начин институцията да спечели пари от безвъзмездни средства за научни изследвания.
Предупреждение: Безвъзмездните средства за оборудване са освободени от косвени разходи, така че не се хвалете на администратор с голяма безвъзмездна помощ – те няма да бъдат впечатлени. Също така не забравяйте, че непреки разходи се генерират, когато се харчат пари, а не когато се присъждат. По този начин, ако похарчите безвъзмездни средства през януари вместо през декември, режийните разходи ще се броят за новата година, а не за старата.
Подход от долната линия
(предпочитано от лаборатории за индустриални изследвания)
Мярка: P, печалбата, генерирана от патенти или продукти, които са резултат от изследването.
Обосновка: Индустрията създава изследователска лаборатория в полза на бизнес единиците, а не просто като начин за изразходване на прекомерна печалба. По този начин в индустриалния свят има смисъл да се измерват научните изследвания по това как те помагат на дъното.
Действителни факти: Почти нито едно изследване няма реално влияние върху печалбите на компанията. Дори ако една изследователска идея в крайна сметка си пробие път в продукт, генерираните приходи зависят много повече от маркетинга, отколкото от качеството на основната идея (дори има някои доказателства за обратна връзка между качеството на продукта и печалбата).
Предупреждение: Приходите са ужасна мярка за качество на изследванията, тъй като глупавите или тривиални идеи често генерират най-голяма печалба; не приемайте, че една идея има някакви научни достойнства само защото печели, и не приемайте друго, ако няма.
Оценка на въздействието
(предпочитано от шепата изследователи, които действително постигат нещо)
Мярка: I/R, съотношение на въздействието на работата към количеството ресурси, използвани за нейното генериране.
Обосновка: “въздействие” от изследванията в областта предоставя добра цялостна мярка за стойност. Човек може да зададе въпроси като: повлияла ли е работата на другите? Или работата ли е цитирана и използвана? не може да сравнява изследванията, извършени от екип от двадесет и четири изследователи, работещи в голяма индустриална лаборатория, използваща оборудване, което струва десет милиона долара, с изследванията, извършени от лице, работещо през уикендите без персонал. въздействие върху ресурсите.
Действителни факти: Въздействието и ресурсите са трудни за измерване. По-важното е, че е жалко, че% quot; big science “често изглежда има по-голямо въздействие, просто защото генерира повече публичност.
Предупреждение: Имайте предвид, че макар тази мярка да е най-справедлива, тя е непопулярна. Администраторите не харесват мярката, тъй като размерът на финансирането – елементът, който искат да подчертаят – се появява в знаменателя, което означава, че изследовател, който постига дадено въздействие с по-малко безвъзмездни средства, получава по-висока оценка по тази мярка! Повечето изследователи също не харесват мярката, тъй като тя набляга на продукцията върху вложената – много по-лесно е да се получи финансиране, отколкото да се получат резултати, които имат някакво реално въздействие.
Заключение
Ако вашето изследване не изглежда добре при използваната мярка, може би е време да промените мярката!