Such diverse thinkers as Lao-Tze, Confucius, and U.S. Defense Secretary Donald Rumsfeld have all pointed out that we need to be able to tell the difference between real and assumed knowledge. The systematic review is a scientific tool that can help with this difficult task. It can help, for example, with appraising, summarising, and communicating the results and implications of otherwise unmanageable quantities of data. This book, written by two highly-respected social scientists, provides an overview of systematic literature review methods:
If you know which parts of the review you want to get details about, this can be really helpful. The resources and recommendations however are at times outdated (book is from 2005 i guess, so everything internet-related from this book should be taken with two or more pinches of salt). Nonetheless a rich resource on the method(s) and sprinkled with unnecessarily funny elements.
When a person, academic, policy-maker, or otherwise, looks at a single primary study and makes up their mind, what do you think? Do you agree with their conclusion, which is based on a single, or at most a handful, of studies? Do you bother scrutinizing the methodologies? Do you blithely accept the conclusions, considering they must be sound because they came from “experts in the field” or because they were “peer reviewed”? Are these loaded questions?
For those not convinced by simple answers to their questions – behold the systematic review! As told in Systematic Reviews in the Social Sciences: A Practical Guide, there’s a lot to take away from Petticrew’s discourse on what systematic reviews bring to the empirical table, and very little to blanch at. At its heart, it is a solid treatise on the strengths and weaknesses of systematic reviews, especially as they pertain to the social sciences - somewhat linking them into an interdisciplinary framework with the life sciences. Certainly, as it’s now over a decade old, some of the discussions on the applications of technology seem dated (you’ll read about CDs instead of cloud storage). Nevertheless, the core fundamentals are strong and still stand today. The authors do an excellent job of distilling the essence of systematic reviews into a coherent whole even the lay reader can readily grasp.
As a Geographer and InfoTech enthusiast, I will have taken out of the book different key points than those of different backgrounds and professions. Even so, some of the keys felt universal in theme & potential application. For instance, getting to the point where meta-analysis is possible in a systematic review of a social science topic is akin to getting the winning lottery ticket. The scope of the topical search would have to be extremely narrow – and highly quantitative – to achieve the unicorn discovery that a meta-analysis of sociological phenomena would be. Another important axiom brought forth by the authors is a need to define study quality by looking hard at all aspects of validity (internal, external, contextual).
But perhaps the best part of Petticrew’s taut manual is the systematic (no pun intended) approach he uses to lay out how to pursue your own version of this type of cumulative mechanism. From using PRISMA, to searching journal databases via keywords & wildcards, to inter-rater scoring, to defining the plethora of research design possibilities, Petticrew hits home the core of how one can delve into their own systematic reviews. For the budding career researcher, there’s much to take out of the book, and little excess verbosity to grind through. Keep this one tucked in your armpit.
Цыган спрашивает цыганку: ну что, новых детей народим или старых отмоем? (с) Книга "Систематические обзоры социальных науках" предлагает над подобным вопросом серьезно задуматься исследователям: стоит ли им делать новое исследование или лучше "по уму" обобщить уже сделанные?
"В народе" обобщение непопулярно: "перекладывание костей из могилы в могилу". Книга объясняет, что не так в этом представлении. "Систематический обзор" -- очень похож на проведенный по всем правилам социологический опрос. Пользуясь специальными техниками, гарантирующими качество и представительность выборки, автор дает возможность судить, каково состояние всего накопленного знания.
Представим, что уже есть 10 результатов клинических испытаний, в каждом из которых количество испытуемых относительно невелико, а потому выводу не очень точны. Проведение еще одного такого же испытания скорее всего не так много, как агрегирование их данных, которое даст большое совокупное количество испытуемых и, как следствие, высокую точность.
Книга предназначена в первую очередь для исследователей, которые хотят сделать систематический обзор. Однако те, кто опирается в решениях на суждения экспертов (практикующие врачи, политики, судьи), тоже почерпнут в ней кое-что полезное: -- предостережение против излишней доверчивости: ссылка на отдельное исследование может быть столь же непоказательна, как в социологии ссылка на одного опрошенного; -- предостережение против излишнего скепсиса: далеко не всегда "где два эксперта, там три мнения", нередко частные расхождения и разногласия в сумме дают очень большую уверенность в выводах; -- ссылки на полезные для себя коллекции систематических обзоров, среди которых особенно выделяются http://www.cochrane.org/ (для медицинских исследований) и http://www.campbellcollaboration.org/ (для исследований в области государственной политики).