Какво се случва в научния свят ?

Ето я и първата ми публикация на български език.

Снощи вечерях със стар приятел, с който винаги сме имали сладка приказка. Той е един от онези, които във Facebook взеха отношение по въпроса със сертификатите, който повдигнах по-рано.

Един друг приятел, пак във Facebook, сподели много интересен извод, с който съм напълно съгласен, а именно, че до ден днешен няма добре премислен, стабилен и достоверен механизъм, т.е. алгоритъм, по който може да се верифицират знанията и компетентността на даден човек, в дадена област от човешкото познание. Т.е. система за официално засвидетелстване на качествата на даден специалист. Има ли намесен антропоморфен фактор, имаме и неизбежна субективност. Има ли човешко присъствие в системата, ще се намерят десетки начини за cheat-ването и.

Замислих се над този коментар, и това ме върна малко назад в годините, преди да стана програмист.

Навремето исках да стана математик. Т.е. да се занимавам с наука. Това ми беше мечта в продължение на един не малък интервал от живота ми. Инвестирал съм много време и усилия, много повече от някои други хора. Но се случиха някои обстоятелства, които ме отказаха. Понякога получавам въпроси в точно такава посока от разни хора. Ето сега искам да дам една голяма част от истинския отговор (има и други компоненти на този отговор, разбира се).

Говорихме си на въпросната вечеря, с въпросния приятел, за системата за оценяване на научния труд. Разбира се, и двамата сме лаици, но вярвам, че не сме далеч от истината.
За мен най-важното нещо е да бъда оценен (в случай, че дам основание за това, разбира се), и не е чак толкова важно дали ще съм математик, програмист, или приложен океанограф.

От известно време насам, в науката е въведена някаква странна точкова система, при която оценката за труда и за неговото качество се получава по някакъв сложен алгоритъм, който взема предвид следното: брой публикувани статии, брой цитирания на твоя статия в други статии, точковата оценка на журналите, в които публикуваш, точковата оценка на журналите, в които са цитирани твой статии и т.н. Абе общо взето, основната идея, е да имаш публикации. Това се превръща в основното оръжие за доказателство на твоите качества и умения. Превръща се в сляпа самоцел. Основната идея, уж, е някак си да има прозрачност за резултатите от научния труд - ето, аз имам 5 публикации тая година, значи ето какво съм вършил (т.е. не съм спал). Онзи другият обаче има 3, значи ли, че е по-слабо продуктивен ? Т.е. че аз съм по-учен от него ?

Това е важно и за онези, които финансират разни научни програми (предполагам, че най-често това са разни експерти в министерството на образованието, които разпределят бюджета) - те едва ли си имат хабер от съответното мега специфично научно поприще (и още 100 такива) и приложенията му, и имат нужда от някакво убеждаване, че си струва да се инвестира там, а не другаде.

Реално обаче светът е пълен с университети. От най-елитни, до десеторазрядни. И всичките те раздават научни степени и звания. Това, което обединява техните учени, е ламтежът за статии. Убеден съм, че истинска наука, с трайна стойност и качества, се твори сигурно в не повече от 5% от тези места. Останалите са оборотни машини за бълване на бездарни статии, изпълнени с безсмислени резултати, ненужни никому, и само хабящи хартия. Списанията, в които се публикуват, също имат твърде съмнителна репутация и реално надали някой ги чете въобще (камо ли да ги проверява за грешки). Ами нали техните главни редактори също са специалисти от областта ? Нали и те трябва да публикуват, за да си запазят работата ? Забелязва се тенденция да се оформят клики (под формата на разни кръжоци и т.н.) от учени, 'работещи' в близки области, и постоянно цитиращи се един друг. Организират се безброй конференции, семинари, колоквиуми и workshop-и, които целят въпросните учени да се събират, и да се надцакват с безсмислените си резултати. Самоцелно се създават нови и нови журнали, които да се тъпчат с непрекъснато прииждащите статии.
По-опитните учени дори са в състояние да измислят цял нов специфичен дял в своите силни области, който да може за дълъг период от време да им послужи за 'поле за research' - източник на нови и нови статии. Получава се лавинообразен скок от резултати. Графът от цитирания расте експоненциално (като повечето е плява) .

Получава се 'синджир марка' - халваджията за бозаджията, ти на мене, аз на тебе ...

Такъв тип продукция като научната, много трудно може да се проконтролира откъм качество и приложение - колкото по-специфична е областта, толкова по-трудно става. Експертите са самите учени, и оценяването може да стане само между тях. Няма независим външен авторитет, който може да вземе отношение.

За съжаление, системата е доста несъвършена и поощрява cheat-ването, а не истинския талант. Няма средства да се спре abuse-ването и. А то е в умопомрачителни размери.

Мой приятел - далеч по-талантлив математик от мен, по подобни причини се отказа да прави научна кариера, и то в елитен Американски университет. Навреме се е осъзнал.

Защо се прави всичко това ? Ами на запад, е престижно да кажеш, че си PhD и имаш добри шансове да си намериш добре платена работа. Или пък дори да останеш в научните среди, определени можеш финансово да си спокоен за дълго време. Или пък друга причина може да е обикновен личен вътрешен стремеж към постигане на нещо стойностно в живота (а дали наистина това е стойностно ?), т.е. към професионална реализация.

Модерно е да си PhD, няма спор. Фешън е.

Но системата насърчава не талантите, а т. нар. wannabees.











P.S.

Исках да добавя, че и по високите нива има люти съревнования, кражби на резултати и боричкания - вижте например случая на Григорий Перелман и опитът на онзи китаец да си припише постиженията му на собственото си име. Не случайно това кара Перелман да се отврати от професионалната математика и да се откаже от нея завинаги. Просто го няма моралът.

И другото, което исках да кажа, е за онзи супер готин проект на няколко студента от MIT (май?) за автоматично генериране на научни статии - http://pdos.csail.mit.edu/scigen/. Тук специално се ползва computer science като област. Въвеждате си името, или няколко имена (ако статията е joint проект) и след секунди получавате перфектно оформен pdf на вашета статия, с abstract в началото, с увод, изложение - абе структурирана както си трябва. Спазен е целият pattern на истинските articles. Има и диаграмки, сравнения с други резултати от областта, както и секция за бъдещи посоки на развитие, нерешени (или пък challenging) проблеми в областта. Много яко. Има отдолу и секция от тип 'използвана литература', където ще забележите цитирани други ваши разработки. Тесктът в самата статия е граматически и синтактически правилен, но няма никакъв смисъл. Навързани са куп термини и понятия (често нямащи нищо общо) в изречения, които са просто смешни, и сякаш са писани от тежко напушени тийнейджъри.

Фрапиращото е, че пичовете са спечелили submission на генерирани от техния tool статии на няколко конференции (едва ли някой ги е чел) ! Мисля, че имаше и видеоклипчета с презентациите им на няколко от тези конференции.

Ако се смени базата отдолу, лесно ще може тоя tool да се портне към друга научна област :)

A follow up

I shared this 'discovery' of mine with my friends on Facebook, as well as inside the discussions in the dedicated Sun Java certification groups on LinkedIn. I received a lot of comments and opinions.
Thanks to everyone! So far i haven't been banned or kicked out of anywhere. This is great.
I am moving ahead towards my goal to make everyone know about this issue.

I must also say, that there are other certifications, for which a similar problem is not present (at least at the moment) - for instance, the Spring certifications. I haven't found any exam simulators created for those exams so far. This is great. There even aren't any dedicated books for the exams. Too bad that one has to go through the Spring trainings in order to get the right to take up the exam. (and those trainings are really a very very cool thing, but also very very expensive).

The other certifications, which, i believe, lack this 'flaw', are the three levels of OMG OCUP certificates. There is just a single book out there, available as a preparation tool, but i couldn't find any sample test questions. This is great.

I believe that developing mock exams or exam simulators is a very good idea. It should be done by specialists, who are permanently in touch with the real exam creators, in order to have a realistic notion about the question's difficulty and scope, and in order to deliver that notion to those who purchase the simulator. It is very important to have some idea about what the questions will look like.

But it is also very important for those preparation tools to offer questions that are just of a 'specimen type', and which will never ever be present on the real exam.

The truth about some Sun Java certifications

OK,

I did post this one on the famous JavaRanch forum, but it was twice deleted by the moderators, the second time without any explanation.

I am a regular Java developer, with both Java SE and Java EE experience. Recently i discovered those Java certifications, which are offered by Sun, after passing successfully a test-based exam. I became very fond of them. Sun is a big name, and such certificate, i thought, would mean a lot to any employer, and a lot to my personal professional pride and self confidence. It would be a great proof of one's knowledge.

I passed SCJP 6 with 86%, and after half a year, i passed SCBCD 5 with 81% score. I studied really hard. The SCJP 6 was OK, since there was a dedicated book that covered all the exam objectives, and i entirely concentrated on this book.

With SCBCD 5 things were different. There still isn't a dedicated book out there. I read "Pro EJB 3: Java Persistence API" book from Mike Keith, and Merrick Shincariol - for learning the JPA 1.0 stuff, and also "Enterprise JavaBeans 3.0" book by Bill Burke and Richard Monson-Haefel, for the EJB 3.0 stuff. From time to time, i used to take a look at the corresponding specifications, its inevitable.

Of course, i came across Mikalai Zaikin's "SCBCD 5 study guide" and it was really a great reading. It covered all the exam objectives, and it was kind of spec extraction.

I have two years experience in server side EJB development, and i am participating in a professional team that develops EJB 3.0 container.

However, my results were kind of lousy - all other colleagues scored at least 94%, most of them >= 96%. There were even cases of 100%. I thought that i was not that well prepared. And most of them studied at most for 4-5 days, while i studied for 4 weekends and 10 days in a row right before the exam.

Recently i grasped the whole picture.

There are companies that offer you exam simulators at a reasonable price. I took a look at the simulator for SCBCD 5 exam that one colleague of mine gave me with a smile (after my exam). It consisted of more than 300 sample questions, together with the correct answers.
What was my surprise, as i saw that more than 80% of all the real questions from my exam, were there, on the simulator !

I was totally shocked! How much an exam result is worth of, when almost all of its questions could be known long before the exam ? And totally legally ? Without any doubt of cheat ! You could easily pass by simply memorizing all the questions and right answers, without actually having real knowledge on the particular problematic area.

The total scheme is quite unfair and needs to be reconsidered. It's corrupted. The very idea of getting certified is brutally compromised.

However, this is somehow understandable. There is a huge interest in those certificates, and how could you invent and create hundreds of thousands of original, genuine, pairwise different exams ? Each one of them consisting of 61 questions ? Impossible. The process has to be somehow automated, and this leads to this sad consequence, that all the questions are known long before the exam.

I am speaking for : SCJP 6 and SCBCD 5. (For SCJP 5 too)

But after all, this has to be changed. It is simply not fair. I don't mind people selling whatever tools for exam preparation - i actually support this. But real exam questions should not be included in those mock exams.

Without having any arguments, i was told that the same is the situation for the certification exams for other two very big IT companies, but i won' tell names since i really don't have a proof.

I really don't understand JavaRanch. My latest post didn't offend anyone. I just shared the truth, which is known to a lot of people, and not known to even more. I am not blaming anyone! I don't have any legal knowledge, and i couldn't accuse anyone of anything, even if i wanted to :)
And i am not talking about any cheat tools ! Those simulators are officially sold, and this is totally legal.

Obviously the JavaRanch fellows have some significant problems with clarifying the meaning of freedom of speech, and with having decent definition of what is allowed to be posted there and what is not (once they tell you some arguments, later you post again, this time conforming to the rules, and you get deleted again).


And, yes, i created this blog just for this post ! :)