Search This Blog

Apr 16, 2017

Can we reduce our teaching loads?

Nothing could do more for our College than a transition to the 3-3 teaching load. We could build a stronger scholarship record, do more to improve programs and develop new ones, and try more innovative things. While the CBA contract specifies a 24-unit per year load, nothing in it prevents us from funding additional release time with our own money. The mechanics of such a program have been tried in many universities: a faculty member would apply yearly for reduced teaching load and promise a specific deliverable to advance the glory of the College – a paper sent to a good journal, a grant application, or a completely new program. If you do not fulfill the promise, you’re not eligible for another reduced load until you do.

We have about 77 faculty members in tenured and tenure-track positions. Let’s assume only 50 of them would want to apply for reduced load. That is about 100 extra courses a year we need to reassign to our part-timers to teach. I think we pay our temporary faculty about 5K per course, plus some benefits; the cost of one reassigned course is roughly $6000. In other words, to do this, we would need about 600,000 a year. The program can start small – with probationary faculty, or with the best proposals, so we do not have to find 600K right away. Also, remember, these are very rough estimates.

Is $600,000 a lot of money? Yes, especially if it is an annual expense. On the other hand, just one off-campus cohort of 20 masters students should generate at least $60,000 the College, however you share the profits with CCE and with the University. Five of such cohorts will get us half the total we need. We can probably increase our fundraising and grants activities as well, and sell some applied research services. In other words, 600K a year is attainable. It could take us 4-5 years to get there, but it could be done. How is this for a vision? 

Apr 9, 2017

Your nose is a time machine

As I walked on the river trail along the American River today, its smell took me back about 45 years or so. I am walking to fish with my brother and our grandfather. We enter the green strip of the Karasuk river, with our wooden fishing rods, and jar with grasshoppers, our bait. We also have a few earthworms, for another kind of fish. The river smells of wet grass, dirt, and water. Grandpa says: “If you take a bucket, won’t get any fish. If you don’t take a bucket, there will be a lot of fish to carry.” We have no fish bucket. The catch will be carried home on thin willow branches, going through fishes’ gills. I remember hundreds of details - how the hook is stuck in the rod to prevent the line from getting lose; that I have a jacket with pockets; how the river banks are, one tall and one low, how grasshopper chirp, etc., etc.

I wonder – what is the purpose of these memories? Why does human brain store all this useless information, and is able to recall it at a whiff, with all its entirety? Nothing is wasted in nature, so why so much memory space is committed to it? Of course, we do remember stuff that has significant emotional component – like everyone remembers where they were on 9-11. That is understandable – emotions are like computer tags for importance; they make protein bonds among neurons stronger. But I have not have a particular emotional high when we went to fish – it was something pleasant, but hardly critical. And yet I cannot remember what the University’s RTP policy says about the formation of primary evaluation committees, and what is the last name of the candidate we just interviewed. In fact, I still struggle to learn all my colleagues’ names.

Perhaps in childhood, the memory selection process is not yet developed, or it may work differently. This is why childhood memory have such significance for artists, film directors, and writers: they seem to be random, unexplainable, and excessive. They are needed to activate creativity – not because they are useful, but because they record the patterns of everyday life, like canvas is needed for a painting. I am thinking about people whose childhood memories triggered by smells, sounds, and word cues are painful, and ridden with anxieties. I have sine а that too, but overwhelmingly, my memories are rather pleasant. Isn’t this the main work of childhood – to build a stock of background memories that can be then used throughout life to paint more pictures on them? How’s that for an educational aim? Which standard is it going to be written in?

Apr 3, 2017

Should we rethink multicultural education for the Trump era?

If prejudice was an infectious disease, we would be talking about the new drug-resistant strand. It has appropriated the rhetoric of victimhood and of the resistance to “political correctness.” It adopted the viral techniques through social media. How does one explain rise of the European nationalism, and Trump’s victory in the US? An economic explanation blames the Great Recession. It might be true, but I can’t help thinking – incomplete. The vision of the good life that motivates me and most of my friends includes the great diversity of human faces, cultures, accents, and beliefs, all engaged in a great polyphony of global community. Let’s not kid ourselves – this dream failed to attract millions of people. They are not quite the majority, but we’re still talking hundreds of millions of Americans and Europeans. Those are very big minorities. Those people have their dreams elsewhere: we may think in the non-existent utopian past where everyone was similar. It does not matter why, but the dream of multiculturalism is not their own.

Intellectually, we have not answered the two biggest challenges posed by conservatives. One is that some non-Western cultures hold values incompatible with a liberal democratic society, and therefore, there should be limits to inclusion. And the other is the challenge of righteous intolerance, the old flaw of the Left. The easy answers are readily available: (1) The Western cultures also have stuff incompatible with liberal democracy, and (2) All normative systems include intolerance to something; why should multiculturalism be an exception? But the more difficult answers would have to be strong in a less abstract, more practical ways to convince the great minorities.

However, the greatest challenges for us are not intellectual. The right-wing nationalists/populists (perhaps not without the help from Moscow) have weaponized the social media. The simplistic memes of prejudice now spread with a lightning speed, in various forms – from the alt-right propaganda to fake news, from political trolling to various conspiracy theories. It is not just an intellectual debate; it is an all-out war. The war cannot be won with multicultural fairs and social justice curriculum. Neither can it be won with traditional mass media. We really need something stronger, something different. I don’t know what it is, but we better start working on it.

I hate to say this, but we’re not winning the social media war. Liberals are a lot less prone to creating and spreading fake news or churning out conspiracy theories, (they do both, just incomparably less). Moreover, using the same weapon devalues our own convictions and principles. There is a chance that Trump administration will unravel on its own, just because of sheer incompetence of unprecedented scale. But in the long run, it would not solve the problem. The real problem is that mass consciousness is vulnerable to hacking by destructive racist memes, and we have no effective immune system in place to fight the disease.

Mar 27, 2017

Thou shalt not worship data, because much of it is no good

Here is what happened: we (higher ed/researchers) oversold the public on the idea of data-informed (or evidence-based) improvement decisions, and are now paying for it. While I see lots and lots of data being collected, the decisions made with the collected data as critical piece of evidence are rare. When we have problems, for example, in teacher preparation, we know about them before data is available to corroborate. When data contradicts the anecdotal evidence, we tend to distrust it. In those rare occasions where data is reliable, timely, and complete, it is more often than not correlational, and thus tells us little about causality. For example, you may find that class size correlates with failure rate. So what? It is very likely that there is a confounding variable that explains both, and you could not or did not think of measuring. If, for example, you find that there is no correlation between student evaluations and grades – yes, this busts the myth that grade inflation is fueled by student evaluations. While correlation does not imply causation, the lack of correlation usually mean the absence of causation (or a measurement error). Similarly, if you find no correlation between the scores on your math placement test and student performance on subsequent courses, your placement test is no good. However, if you do find a correlation, it does not mean the test is good. So, before collecting anything, the simple check is – what are you going to do with it, exactly? Don’t collect just because it is there, and hope it will bring some useful knowledge – it won’t. And if you’re an accrediting agency – don’t ask for data that will not result in any decision.

My basic claim is this: an organization has to evaluate the usefulness of any data like this: i=R/U, where R is resources expended to gather, analyze, and keep the data, and U is the potential usefulness of it for real decisions. One very important stipulation is this: R should include time expenditures. Sadly, it is often the case that all the time is spent on collecting and crunching, so no time or strength is left for using it. My best guess is that in the overwhelming majority of cases i is greater than 1. In other words, we’re wasting a lot of valuable time.

Of course, much of data is collected because various accrediting bodies tell us to do so. However, they also have no idea how exactly the data is going to be used, and if it is any good. For example, NCATE asked us to measure impact on student learning that teacher candidates make. So we all figured out some sort of action research thing for our candidates, with pre and post-test, figuring out the effect size, etc. we complied with the requirement to measure impact on student learning, but that is simply bad science. We could never teach teacher candidates even how to build valid measurements. An instrument simply cannot be validated after a one-time use. Or else, NCATE made us measure candidate performance as we observed in the field. But those observation rubrics often produce flat, uninteresting data, because they are not reliable, and don’t measure what they intend to measure. Even more rigorously designed instruments like Danielson framework, show only modest correlation with teacher quality as measure by student achievement. But in the field, with dozens of supervisors who change constantly, who has time or money for interrater reliability training?

Everyone looks at colored charts, happy, pretending those numbers mean something. And we pretend that oh, yes, we looked at this, and made this specific decision. I don’t want to accuse everyone, but in most cases it is not true. Notice, I am not saying it is never true – the good examples are too rare to justify the enormous time and effort.

Many of us got a case of what I call “the compliance disease.” It feels good to be proficient t something, and we find clever ways of collecting data, aligning it to standards, and presenting. The process itself takes a lot of skill and creativity, so we forget that it is less than useful in the end. This is a common phenomenon – people get better and better at figuring out how to comply, and stop questioning what they have agreed to comply with.

There is a class of data that has direct significance: how many students do we have, what are average class sizes, which groups succeed more and which tend to do drop out, where are the bottlenecks, etc. It is just the measures of quality, derived from performance standards that remain elusive. And it is after at least 30 years of trying. Measuring quality of higher education is still an aspiration rather than reality. We can measure quality of K-12, but very narrowly. It is like looking at vast landscape through a keyhole of standardized testing. But in higher ed, we cannot see much at all.

The data technology is still primitive. What we have now is really quite basic hand tools that require a lot of human labor and subjective judgments. All I am saying is that brains are more needed to improve things we already know need fixing, than on collecting mountains of data we have no time to do anything with. We should only do things that move us forward.

I am not suggesting we give up on the idea of data-informed decision-making. The alternative is pure guessing, or gut instincts – all notoriously unreliable means of decision-making. The alternative is going back to the dark ages. Many people, including me, are hoping that the next generation of data tech, based on naturally occurring digital traces, in combination with the neural networks and predictive analytics will change everything. In the meanwhile, modesty is virtue.

Mar 20, 2017

Do we have a choice about our visions?

The answer is – probably less than one may think. It would be completely foolish to dream big dreams without considering the two existential threats to educator preparation at state universities. One is the continuous downward budgetary pressures. The second is the increasing competition from for-profit, online, alternative programs. In California, we should also add various district-based and county-based preparation programs. While we are in a good shape now, the long-term trends look very worrying. You do not need the SWOT analysis exercise to see that. The defunding of public higher education is a national trend, driven not as much by politics, as by the economics of mass higher education. Keep in mind, we remain competitive only because of the public subsidies, and some limited brand loyalty. That is, we compete mainly on price. We tend to lose on convenience, the user-friendliness, and on marketing, and very often - on responsiveness to employers’ needs.

These two threats imply a certain strategy, and I don’t see how one has much of a choice about it.
  1. We must learn how to make money, which means developing additional revenue streams. 
  2. We must become more flexible, less bureaucratic, and friendlier to students. 
  3. We have to become sophisticated marketers. 
  4. Finally, we must participate in regulatory politics. If we allow significant deregulation or meaningless accreditation to happen, it may open the flood gates for low-quality competition. Because of the famous Akerlof’s “Lemon Law,” this creates the race to the bottom phenomenon, typical for non-experiential good markets. 
The last thing is too big for each institution; it is a cause for larger professional groups. The first three, however, are the responsibility of each college of education. No one is going to do it for us. Most visions I have seen deal with some sort of growth in reputation, like we will become a premiere institution, or we will be known nationwide, etc. I was thinking along the same lines. However, perhaps we should try something more pragmatic. For example, we can say that we will become financially secure, and have some money to invest in development. I think we can become known for being not just personally, but institutionally friendly to students. We should not proclaim the abstract goals of endorsing diversity and equity – everyone does that. Instead, we can say that our programs and logistics will be tailored for the needs and expectations of minority and first generation, as well as working adults. Finally, we can have a vision of developing a robust marketing machine comparable to some of our best-known competitors.

Perhaps I am missing something, but just want to offer this kind of more pragmatic, less pompous way of envisioning our common future here. I believe we should meet out key challenges head first, with all we've got, and that becomes the shared vision.

Mar 11, 2017

Complexity and Justice

At a typical American university, we create insanely complex rules, and then waste enormous resources explaining them to students. Just consider, for example Sac State’s Gen Ed requirements. First, it is 48 credits plus the language requirement. The national norm is closer to 40, or about 1/3 of a BA degree. Plus there are layers of overlapping rules, which should be applied simultaneously. Those are rules of residency (so many should be taken at CSU), the rules about upper and lower division, and the rules of distribution (areas of A, B, C, D, and E). On top of it, there are graduation requirements, such as American History, American Institutions, Intensive writing, English composition, Race and ethnicity, and foreign language. In other words, every course choice should be checked against the five or six sets of rules. Those decisions have to be made by 18-22 year olds, a lot of whom just transferred from community colleges, and have a whole set of issues with equivalent courses, some of which are articulated, while others are not. Only few faculty on campus actually comprehend the rules and even fewer can explain them to students. So we have to have several professional advisers, and train older students to help. It takes years to actually master the working knowledge of curriculum. And with this level of logical complexity errors are absolutely inevitable. The complexity of rules requires the maintenance of three separate technological platforms: the course planner, the registration system, and then the data analysis system. The latter is needed, because we have no idea how many sections of which course will be needed in the next year. I am not just picking at the gen Ed; the same can be said about majors, teacher credentials, and everything else.

Now, if you have a mom and dad with a college degree, you can call them up, and ask to interpret the catalog for you. If you are a first generation in college, and your parents speak another language at home, you may not know what is the upper division and the lower division. So, the complexity affects different people differently. We always proclaim the values of diversity and inclusion, and yet our own indifference to student experiences is partly responsible for drop-outs and forces students to stay longer than they would like, to incur extra debt.

All of this is done with the best intentions, to make sure we educate the kids well. OK, let me take this back – the system evolved because of trivial turf wars, where every department is concerned about its status, its enrollments, and its workloads. The wars are fought with the rhetoric of best intentions, usually, so the combatants re confused where is the real motive, and where is the high-minded rhetoric. A significant part of the problem comes from various mindless bureaucratic decisions done outside campus, too – in various accrediting, and state government bodies. It really does not matter who we are to blame. The bottom line is that chasing complexity with various technologies is an arms race we cannot win. It is not a solvable problem. Yes, we should provide students with good advising and technological tools. But the problem is not solvable without some movement in at least partial simplification of curriculum.

The radical solution is well known: it is cohorting. It works in many cases, for working adults, for professional degrees, for non-traditional students. Some students are willing to give up choice in exchange for stability and the guaranteed timeline. In fact, this is how most of Russian and Chinese students go through college. I would not support the radical solution across the board; there is enormous value in the ability to choose one’s learning path, and in the flexibility of the non-cohorted environment. The rigidity of a cohort system also has exclusionary qualities; it does not accommodate for all life circumstances. Instead, we must simplify the admission and graduation requirements, and other processes by the order of magnitude to actually walk the walk of justice. There is no evidence whatsoever that more complex rules add anything to the quality of education. For example, Brown has abandoned the general education requirement altogether, which did not have a demonstrable negative effect on its graduates. There is no evidence that, say a 72 credit major is more fruitful than a more typical 40-credit major. Only a few of prerequisites actually have pedagogical sense; most are there to force students into a more manageable path.

The main funding of the entire fiel of behavioral economics is this: if you want to encourage people to do something, make it easy. So if we want more diverse population in our student body, if we want to more teachers of color, we have to make it easy, less intimidating; not less rigorous or less demanding; just easier in the process. Let’s move the rigor out of our processes into our classrooms.

Mar 5, 2017

The Long Email Combat Ritual

Among the tribes of the Academia, a small minority engages in a strange combat ritual. The weapon of choice is the long email. It is usually reinforced with a tail of previous long emails, and with multiple CC recipients. The warriors may adorn their weapons with brightly highlighted lines, intended to point out how obviously wrong or incompetent the other person it. Some have their desk drawers full of printed out emails as trophies of previous glorious battles, and in anticipation of the Judgment Day.

A battle often begins innocent enough; the exchanges look like simple business-like conversations. However, with time, they become longer, more detailed, and include more and more elements pointing out at the other party’s faults and omissions. At that time, they usually acquire more recipients, including me. The anthropologist in me is fascinated by the elaborate ornaments. The manager in me wonders how much time they spend writing these things.

OK, now seriously: Email is a terrible medium for resolving any problem, much less a conflict. It is cold, emotionless, and always sounds harsher than intended. Moreover, once you are past two exchanges, it is not even productive – it is time to meet or at least talk on the phone. I have learned this rule of thumb from my friend and mentor Eugene Sheehan. We write emails in order to save time for planning a meeting, right? But after four e-mails, you have reached the point of diminishing returns. The sad thing is that the medium itself lends to being weaponized. It does not enhance social cohesion, but may actually corrode it.

So, the grown up thing to do is to get up and meet someone you disagree with, or whose points you do not understand, in a face-to-face situation, or at least give one a phone call. When we do that, we activate psychological deterrence mechanisms that are hundreds of thousands years old. It is more difficult to say something nasty to someone’s face. The psychic cost is much higher, so we normally avoid doing it. It is because we evolved as species attuned to interpersonal communications. Email is too new for us to adapt.

Another great trick I learned from someone is this: if you receive an irritated email, a challenge, really a provocation to fight, answer it with the deadliest of all weapons – silence. A non-reply is a great answer in some circumstances, and it is amazing how many people feel compelled answer every e-mail. Again, the CC recipients create this urge – if you do not answer a publically wielded falsehood, you may look guilty by the virtue of non-responding. But give your audience more credit – they will more likely interpret your silence correctly. A nasty email is like trolling on social media. The wisdom of teenagers – do not feed the troll. Any response is a gift to the troll. The more you sound like you’re hurt, the more successful is the trolling attack. We teach young kids to walk away from the impending fight, but so often don’t know how to do this in our own world.

Feb 24, 2017

The psychometrics of simplicity

I am not a psychometrician, so my friends who actually are will probably laugh at me. It’s OK, bring it on. Lack of expertise has never stopped anyone from expressing an opinion. I just want to make a case for simple instruments against complex instruments, in the context of teacher preparation.

Please take a look at an observation form I helped design, with my colleagues at University of Northern Colorado. It was years ago, and I still like it. And take another look at the nine page, 32-items form COE at Sac State currently uses. It is very good, clearly worked on for years, but is still too long. And just for kicks, here is the document on 77 pages, describing the Danielson framework, perhaps the most dominant teacher evaluation platform in the country.

The longer, more detailed rubrics are, in theory, more reliable. They do not just name a domain, but contain specific behaviors or other observable indicators that are associated with skills or competencies. Students either answer questions, or not. A teacher either has stated learning objectives or not, etc. The short rubrics I like tend to be holistic, more subjective, and more difficult to justify. 

However, the context of use is everything. Those are not laboratory instruments. Supervisors and cooperating teachers use them in the field, where they observe someone’s lesson. These are situations where you have to keep your eyes really open for tiny nuances of interactions, and at the same time one has to go through a long checklist. It’s very basic: the observer runs out of brain resources.

What we have noticed for ages is that data coming from longer rubrics tends to be flat, uninteresting. If you have a four-point scale, everyone will be about at 3 in the beginning, and 3.5 at the end of student teaching. It is because human being are unable to make multiple evaluating decisions over short periods of time. Supervisors and cooperating teachers tend to make up their mind holistically about the way someone is teaching, and then simply justify their overall impression through the rubric. Most of them are experienced, wise people. What sets an expert apart from a novice is exactly the ability to make non-analytical, synthetic, holistic judgments. One can debate whether their image of good teaching is accurate, but that is how they form opinions. Novices go through check-lists, because they are not yet able to quickly synthesize. So we force experts behave like novices.

It is often done on the premise that an evaluation rubric is a pedagogical instrument, and that it intends to remind pre-service teachers about what is important. But I am not sure if the argument works. We should encourage our novice teachers to develop the ability to think holistically, to synthesize knowledge. The checklists create the false impression that if you only do all those things, you will teach well. Well, either the checklist has to be a hundred pages long, or it should not exist. There are just too many possible indicators. An isolated action does not have meaning outside of the relational context. Yes, as a rule one should not give long lecture to six graders. But man, I have seen such brilliant exceptions. A hostile classroom atmosphere is not always the fault of the teacher, and therefore, not a reflection on his or her skills. Etc., etc., etc. For a hundred page checklist we can provide a thousand page list of exceptions.

Another consideration is economic. For something like Danielson-inspired instrument to work, one needs significant resources committed to constant training and retraining of evaluators to ensure the inter-rater reliability. If you have a large teacher preparation program like ours, it is almost impossible to do. Supervisors are many, and they change often, cooperating teachers are a multitude, and they are busy and change constantly. Whatever precious resources we have are better spend on PD at higher levels, for example, on co-teaching models or on cognitive coaching. Training them to use the rubrics correctly feels like a waste of time.

With a short holistic rubric, we embrace the strength of holistic assessment, and avoid the negative side of indicator-rich instruments. One can easily keep in mind the four-five main domains, and give an honest expert opinion on how a teacher candidate is doing. The shorter rubrics also give more time for qualitative feedback, which is always more important. You have the time to write “pay attention how you move around the classroom; it may be distracting children” or “some children did not understand the assignment,” or something like this, because you don’t have to run through 45 indicators. We also do not observe a good number of items at all, because they are not all evident on every lesson. But we feel compelled to enter some random number, so the cell is not empty.



In my opinion, it is much better to have better subjective data than poor objective data. It is especially true because the indicator-based, objective and detailed rubrics are not really validated by research, contrary to what Danielson and others claim. In other words, we do not really know that if a student teacher have written, for example, the unit learning outcomes as “related to “big ideas” of the discipline,” that it will really help kids learn. We may have a professional consensus about it, but we do not know it for a fact. The studies on value-added measures of teaching effectiveness are in their infancy. And even theoretically we are unable dis-aggregate the teacher behavior to small indicators to show the relative weight of, say communications style vs. mastery of material vs. the careful planning of instruction. Underneath all the sophistication - is the same gut feeling that we acquire with experience. OK, it is a collective gut feeling, but professionals were known to be wrong collectively. Just to remind the hard-line psychometricians: the semantic hypothesis is still a hypothesis.

Another practical consideration for short holistic rubrics is this: teacher preparation programs do not have time to look at all data we generate. The more items you have, the more work it takes to process and interpret data. The fewer are the data points, the better it is to comprehend. Data usually supports or contradicts suspicions we already have. It cannot do much more with technologies we have today. When we develop AI, the neural network technology, let’s talk again. For now, we may be better off admitting that we use very limited data collection techniques and our dreams of data-informed continuous improvement process may be a bit premature. So we need to bring the expectations to where the technology is, otherwise we produce a lot of needless work and unprocessed data.

Feb 19, 2017

Taking stock of the good things

I spent some time last week working on several student complaints, and some of my colleagues felt sorry for me for doing this in my first couple of weeks on the job. I am thankful, but student complaints are unique learning opportunities that present a sharply focused view of the organization’s culture. Dealing with the unhappy ones presents the view from behind, so to speak. Like an army platoon’s speed is the speed of the last straggling soldier, the least happy students show what is possible, what works and what does not. I came out of these situations in high spirits. The system definitely works, and it works very well overall. Students are given second and third, and forth chances, they are treated fairly, the expectations remain high, and the rules are flexible enough to accommodate the diverse student body. The errors we make are minor and not systemic. Faculty and administrators spend a lot of time on individual students’ problems, and the solutions are reasonable. I feel really good about the College, and its faculty and staff.

Consider the phenomenon of the general complaint – the discourse of dissatisfaction that permeates any human society. The intensity of the general complaint is not related to the actual health of the organization. For example, at the university A people are nonchalant about half of all students skipping any given class. At the university B people are greatly upset about a discrepancy between a syllabus and a handbook. If you take the level of complaint into consideration, A is better than B, while in fact B is light years ahead of A. This is why it is unimportant how much people complain, but what do they complain about is important. There is a Russian proverb “For some, pears are too small, for others – borscht is too thin.” I am sure there is an English equivalent, but I cannot think of any right now. I hope it makes sense that the three student complaint cases made me rather happy. The College has figured out most of the structural problems that exist at any place like this. In professional preparation, we sometimes have to tell people “No, you cannot go forward,” which cannot please. That is inevitable; how we deal with it can vary greatly. There are also inherent issues with field placements, communication with field mentors – all colleges of our size have that, and such tensions have purely economic underpinnings. Yet some deal with them with more grace than others. We do a good job.

Of course, I am not blind and see the shortcomings, the bottlenecks, the weak spots. In fact, people tend to focus on the problems, because they are so immediate and pressing. We all get quickly used to the good things, which is why I value the “new eye” experience so much. To move forward, it is extremely important to keep the awareness of the tremendous achievements you have. To move a ship, one needs to take stock of the whole thing – the beauty, the structural integrity, - the integrative characteristics. One cannot just focus on the leaks and the rust spots. So, here are just some of the good things to appreciate: We live in one of the most affluent, advanced, democratic, and diverse parts of the world. Despite occasional budget cuts, public colleges still enjoy support of the public. We have thousands of successful, well-connected alums. We help teachers, principals, counsellors, school psychologists – they provide the backbone of todays’ economy, and these professions are not in danger of being outsourced or replaced by robots. So we own the future. We have a nice campus, with beautiful trees, modern technology and many amenities. I am not going to panic about the policy manual being outdated or the committee structure to be imperfect, or the assessment system being too cumbersome. Those may be annoying, but objectively small problems. We will plug all the holes as we go, no big deal. We have bigger fish to fry, and I am happy to report, looks like we’re totally ready for it.Taking stock of the good things

Feb 13, 2017

Searching for a vision

Some may believe that politics is the most human of all arts, but it is wrong. Primates do a lot of politicking; they form coalitions, and orchestrate coup d’états. Those behaviors are normal, and they probably become more intensive when resources are scarce (let’s say, drought or budget cuts). However, faced with a common external threat, chimps tend to act as a unified force.

The Academia is one of many primate habitats, and every single institution I know has its share of internal politics, which by necessity includes factions. After all, one cannot advance one’s interests and agenda without friends. So, coalitions naturally form and engage in various levels of competition. The acceptable levels of factional struggle are such that it does not take away too much time and effort from doing the work for our students, and moving forward as an institution. I know this is a vague definition, but it does the job. We have a given set of time and intellectual resources. How they are expanded matters. If too much is dedicated to internal politics, the task of development is threatened. In the most severe cases, even the routine maintenance of operations could suffer, but it is a rare case.

A new dean’s worst mistake is to get immediately entangled into the micro-politics by simply joining one of the coalitions, and letting it become the sole source of support and information. And let’s keep in mind, such a move is very tempting, for if you want to advance any kind of agenda, you should have people to rely on. So it works in the short run, but in the long run, the move is self-defeating, for it leaves the structural arrangements unchanged. Machiavelli had plenty to say about that. In his time, excessive internal struggle meant losing wars to neighbors. In our times, it means stagnation, and eventual loss of competitiveness. Authority based on trying to be objective and even-handed, fair to all factions, is slower, but ultimately, it is more stable and productive. The first rule of conduct – I cannot belong to any faction, but will try to listen and understand everyone. The basic English common law principle is to hear to the both sides, while trying to be impartial. It is perhaps one of the best ideas ever; it was designed to contain our natural tendency to color all information depending on whether it comes from a friend of from a foe.

Dean’s conduct is important, but not critical. The most important is to have a common vision, a big goal for all of us. If we get it, the micro-politics will be kept in check; they never become destructive, or take too much of anyone’s time. They still exist, but can even be a positive force where all factions find niches, and compete on how much they contribute to the common good. That is not just theory; I have seen this happen, and it works. We don’t have to be all friends. In fact, I find the utopian images of human brotherhood dangerous and ultimately destructive. I like the pragmatic, good-enough, yet inspired communities. We tend to share the same values, and that is the 80% of the way to flourishing.

To convert shared values into a vision is not an easy or fast project. There are some fascinating things to know about how visions cannot be too precise, and have to stay a little blurred. I even wrote a paper about that a couple of years ago. The term “vision” evokes the use of visual imagery; it cannot be limited to words. It is a mental picture of the not-so-distant future where we all want to be.

Jan 31, 2017

Returning to the Trump country

We are packing our bags and flying to a country that is living through some of the extraordinary times. I read the news with some disbelief, just like many others. I’ve got a comment on Facebook from a good friend – “Do you actually know who won the elections?” And d yet in a way, I feel fortunate. This feels like a historic moment for the US and for the world, and there is nothing like bearing witness to history. The long-simmering divide, the deepest American conflict finally came to the forefront. Of course, we have lived in the States for over 20 years. But it has never been so unpredictable, so open to history as it is now.

I know the breed of conservative populism, I know many of the people who voted for Trump and continue to vote for Putin. I know the beast. It has a human face, not unlike mine and yours. I feel its pain and its anxiety, and deeply comprehend its error. I empathize with its temptation to imagine the non-existent golden past, to claw back into isolation and warmth of the nationalistic pride. Making America great again? Russia rising from its knees? And whatever else they say in Hungary, Greece, Great Britain, everywhere. Those deeply mistaken, unfortunate, powerful, dangerous collective minds. How do we talk to them? What does it take to convince them that there is place for them in the future?

These are the extraordinary times. America is the place to be right now.

Jan 13, 2017

Thinking ahead

My mind is mainly preoccupied with things to finish at HSE, but there is definitely an active Sac State department somewhere in my head, too. The rational part of it insists – calm down, wait, you cannot really do much planning without understanding of the organization’s culture and history. There is only so much you can get from reading and form the conversations at the interview day. There is always a deeper, contextual truth about a place; it is the very grid of the assumed normality, the way thing work here. You can only learn that by being there for a few weeks. Yet the impatient, adolescent part of the brain is churning out ideas; it does not care if they will turn out to be silly.

For example, I am thinking, how can we use our location in the state’s capital city? For example, can we develop a media product that would grade state and federal politicians and officials on their statements on education? You know, how they like to rank and grade schools, teacher ed programs, and universities. So why don’t we do the same to them? We can ask a simple question – how much of what they say is grounded in research? We call it the Sac State Report, or the Sac State Scorecard. Something like that should not be too expensive to produce, and it can eventually grow into a brand. A couple of capable grad students under faculty supervision could actually review the literature; it is not as hard anymore as it used to be. However, we would need a more or less rigorous methodology.

Here is another idea. There are not that many contests, prize competitions in education. Those existing already tend to be grandiose (Like the Reimagine Education, the Xprize, etc.) What do you think about setting up one for regular folks, not your high-tech startups, but for educators with ideas? If we could get enough response, it is a fairly inexpensive way of raising out profile. Anyone wants to help thinking about either of the two?

I am planning on having a systematic way of talking to faculty and staff within the College: Usually, the most important questions and even most solutions are already there, in the collective mind. My job is to listen, and to fish them out. In the meanwhile, between asking the estimates for moving companies, and looking for an apartment, I can’t help but indulge in groundless fantasies. It is actually fun, I recommend anyone - think without knowing anything about the constraints and limitations, think context-free.

Calling to Sac State’s COE faculty, students, and staff. What do you think is the next big move for the College? Where should we go from here? Reply with comments for this blog, or email me privately at alexander.sidorkin@hse.ru

Dec 1, 2016

Социальные сети как театр войны

Никто не оказался готов к тому моменту, когда древнее параноидальное сознание встретилось с совершенно новым феноменом социальных сетей в интернете. Про параноидальное сознание писал Richard Hofstadter в известной статье 1964 года. Тут ничего нового нет (хотя интересно, как некоторые домыслы американских конспирологов повторяет, например, Юлия Латынина в своих субботних монологах). Но раньше эти люди сидели себе изолированно, иногда писали книги, или распространяли самиздат про алкоголь как пятую колонну Запада по уничтожению России. Теперь они получили доступ к новым информационным каналам и старая болезнь расцвела с новой силой. Это не только наша проблема, см. например выборы Трампа, и участие в них многочисленных фабрикаторов фейковых новостей, как корыстно, так и политически мотивированных.

Но проблема совершенно точно есть. Как заметил наш аспирант Ваня Смирнов, затраты на производство лжи намного меньше, чем усилия по ее разоблачению. Угроза именно в этом, - в том, что есть естественная среда для производства параноидальной лжи, и в том, что по всей вероятности, не только коммерческие структуры, но и государственные игроки постепенно научатся ее использовать в своих интересах.

Вот вам пример масштаба проблемы – поиск на запрос «ВШЭ» и «ЦРУ» находит около 300 тысяч хитов. Какая-то часть – это аналитика Вышки с использованием слова ЦРУ, но огромная масса – это параноидальный бред о том, что Вышка управляется из ЦРУ, и о том, что мы хотим разрушить Россию. Чуть больше хитов на запрос «ЕГЭ» и «катастрофа», 317 тысяч. Совершенно дикая теория "золотого миллиарда" дает 213 тысяч результатов.

Возникает вопрос – можно ли оставаться спокойным и рациональным, и либо игнорировать весь этот вздор, либо спокойно на него отвечать фактами, цифрами? Как многие мои друзья и коллеги, я долгое время так и думал. Но теперь до меня начинает доходить настоящий масштаб угрозы. Думаю, что мы ее недооцениваем. Теперь я склоняюсь к мысли, что так реагировать нельзя. Это война, и на войне нужно использовать все средства, которые есть под рукой, в том числе производство популярных мемов, фейковых историй, создание армии троллей за прогресс, цивилизацию, здравый смысл. Самое главное, что мы очень плохо понимаем как функционирует массовое сознание в условиях новых коммуникационных технологий, как рождаются и распространяются вирусные мемы и фейки, и как их можно разрушать или ограничить. Иначе наш общий цивилизационных проект окажется под угрозой. Одним просвещением, боюсь, мы не обойдемся.

Sep 7, 2016

Либералы, консерваторы и образование

В США сложился довольно редкий консенсус по образованию. Начиная, пожалуй, со старшего Буша все основные законы по продвижению образовательных реформ поддерживаются обеими ведущими партиями. Суть реформ сводится к тому, чтобы как-то повысить среднее качество образования и сократить разрыв в достижениях между расовыми группами. Американские либералы и консерваторы согласились притушить культурные войны в образовании, то есть бесплодные дебаты о ценностях. А вместо этого сосредоточиться на том, о чем согласие есть.
Ничего такого у нас, к сожалению, не сложилось. Либералы многие годы проводили реформы без оглядки на сложившееся консервативное большинство населения. Большинство этих реформ считаю необходимыми. Но не было принято особых мер по их популяризации с учетом культурных особенностей и установок большинства населения. И можно было их упаковать в совершенно другие риторические формулы. Да и трудно узнать мнение населения при отсутствии нормальной политической жизни и свободным СМИ. Консерваторы же восприняли смену министра как свою победу, как возможность теперь наконец-то диктовать свою волю либеральному меньшинству, даже если оно составляет основной костяк экспертного сообщества в образовании. Блог Проханова "Она выдержит" – иллюстрация такого наивного триумфализма. К сожалению, ни та, ни другая стратегии особо успешными быть не могут. Нельзя проводить реформы без сильных союзников среди большинства, опираясь только на исполнительную власть. И нельзя вообще поддерживать современное образование без поддержки экспертного сообщества.
До сих пор в образовании не было серьезных попыток организовать диалог между здравыми консерваторами и либералами, который мог бы определить, в чем точки согласия, а в чем – предмет несогласия по образованию. Вместо этого идут либо опереточные теледебаты на интеллектуальном уровне амёбы, обычно заканчивающиеся ритуальным унижением мальчика для битья. А потом Первый канал удивляется, что не могут найти серьезных экспертов для своих передач. Или же идут монологи в СМИ и блогах, в которых стороны легко разделываются в своем воображении с карикатурными версиями друг друга.
Но диалог нужен, он собственно составляет основу нормальной политики. Без него место в публичном пространстве занимают маргиналы с обеих сторон. И начинается бесконечная череда периодических мелких побед одной стороны над другой, где все идеи и меры воспринимаются только как инструменты борьбы. В результате диалога должна родиться новая повестка дня для Российского образования.

Aug 30, 2016

Сезонное

Некоторые березы уже паникуют, прячут первые желтые листья в совершенно еще зеленой траве. Как будто они и ни при чем, как будто еще ничего не случилось. И солнце как-то несколько обленилось и карабкается не так высоко, как раньше, и уже без энтузиазма. Из всех явлений естественного мира, только педагоги набирают обороты. Как бы против тренда, назло всему, включая прохладу ветра и мракобесие сильных. Они вылезают из норок, оглядываются, машут друг другу, берутся стайками за общий огромный Сизифов камень. Толкнут его немного вверх, он опять скатится назад. Те, кого научили, уходят, новые приходят – ничего не знают. Цивилизованность то вроде чуть подрастет, то опять откатится назад. Слишком долгая история для одного человека увидеть результат.

Но в этом есть ведь и особая, отчаянная прелесть. Учить – это как рисовать мелом на асфальте или палочкой на песке. Или следить за движением ледника. Бесполезность – это ведь на самом деле красота. Утилитарность противоположна эстетике, хотя дизайнеры и упорствуют в отрицании этого очевидного факта. Мы никого особо не меняем. Они приходят такими же, какими и пришли, ну может быть чуточку другими. И то неизвестно, надолго ли. Это ужасно, но согласитесь, есть в этом какой-то особый кайф. Наверное, только священники понимают – как можно слушать про одни и те же грехи, тысячи лет одно и то же, ничего не меняется. И в то же время делать попытку что-то изменить.

Это тост к вечеру первого сентября, а всем педагогам надо обязательно выпить. За дождь, который смывает наши рисунки с асфальта, за вечность, юность и забвение.

Aug 1, 2016

The dog days in Moscow

Russians don’t have the expression, but here they are in Moscow, most definitely. It is not just heat, which could be fought off with air conditioning, but also a particular slow species of summer light, the liquid quality of air that your lungs drink more than breath. I sense the unmistakable slow churn of little wheels in the brain, failing to get traction over the simplest of thoughts. My aspirations shrink to cold beer, or ice cream, or a lake somewhere nonexistent but still very far.

In the dog days, Wikipedia is the best read, just random articles about Jesuits, Finnish languages, microeconomics, Adderall, and the Hawthorne effect. Yes, where were we? - Aha, the dog days is apparently an astronomical expression, when the Big Dog constellation comes up. And yet I see a big dog panting, its tongue is the only cooling device. I can smell its wet fur. These are the dog days of summer.

The office folk are trying to work as honestly as they can. As so am I, so am I. The chapter for the book has increased 900 words today. How many of them will stay? – hard to tell. Maybe all of them will, maybe none. One thing is certain – there is no way to write all of those things planned for this summers. No, not a chance; mathematically impossible it is. Damned Russian government – why do you ban Adderall? That’s is the worst of your faults. I ain’t gonna vote for Vlad no more.

May 27, 2016

Ватные палочки в уши не вставлять!

Почему изготовители ватных палочек считают своим долгом предупредить, что их не стоит совать в уши? Почему они не говорят – не есть, не поджигать, не засовывать в …? А потому что известно, что люди обычно чистят ватными палочками именно уши, делая при этом себе только хуже.

Тот же самый примерно принцип должны, на мой взгляд, применять исследователи в сфере социальных наук. Начать думать о том, какой наиболее вероятный неправильный способ использования полученных данных, и предупреждать потенциальных пользователей о таких очевидных опасностях. Например, большинство тестов по оценке образовательных достижений детей нельзя использовать для оценки эффективности учителей и директоров школ. Это и потому что, что тесты просто разработаны для другого, и потому что в вступает в силу так называемый «закон Кэмпбелла». Оцениваемые неизбежно находят способы манипулирования данными, с помощью которых они оцениваются. Кроме того, использование одного узкого показателя ВСЕГДА искажает деятельность, которую мы намерены улучшать через измерения. Например, сокращение не-ЕГЭ-ванных предметов, тем, навыков.

Традиционно исследовательская этика не предусматривала ничего подобного. Мы публиковали свои исследования в специальных журналах, потом бурчали по поводу журналистов и бюрократов, которые все извратили, как всегда. Но теперь ситуация меняется. Многие результаты становятся мгновенно известны широкому слою людей, в том числе блогерам, активистам, чиновникам, родителям. Есть специальные сайты, которые читают все подряд, и выбирают наиболее сенсационные с их точки зрения находки, чтобы превратить в заметный заголовок, который потом превратить в клики. Только очень небольшой процент читающей публики способен оценить тонкие различия между корреляцией и причинностью, оценить размер эффекта, понять особенности выборок, и т.п. Мы живем в совершенно новом мире, и этика исследователя не должна оставаться неизменной.

Что я предлагаю? В структуру типичной статьи к существующим разделам (литература, методы, данные, анализ, выводы) надо добавить раздел «как можно и как нельзя использовать данные». Там должно быть простым языком написано что-то вроде «ватные палочки в уши не совать». Например «Данный инструмент нельзя использовать для оценки эффективности педагогов и администраторов». Или, «несмотря на наличие корреляции, увеличение количества книг в доме не приведет к улучшению образовательных результатов».

May 5, 2016

The lonely thinker syndrome

You know the type – someone smart, with a thirst for knowledge, a good natural thinker, but through circumstances of one’s life excluded from a broader scholarly conversation. Those are intelligent people outside the intellectual milieu, the lonely thinkers.

Their tragedy is self-induced. The lonely thinkers tend to develop a theory, and there is no one to challenge it. Working alone on a theory is incredibly hard, because it is so incredibly easy. They mistake their own excitement that comes from insight for the revelations of truth, and become seduced and captured by their own ideas. Gradually, the mental positive reinforcements create an unassailable and graceful castle of beliefs that explain everything just right. The only nagging worry is that others do not appreciate or use their discoveries.

It is so hard to reconcile one’s convictions with the indifference of other people that some succumb to the madness of conspiracy theories. Such thinkers believe the evil forces suppress the truth intentionally. Others include in their theories a belief that all other people are very stupid, which completes the lonely thinker’s system. The loneliness becomes justified and arrogant, the Truth becomes whole and impenetrable by doubt. But if the world does not want to hear you out, and you are so right, then it is one of the two: people are evil or they are stupid. Underneath all of that is a deeply held fear of own incompetence, suppressed.

But wait, don’t we all suffer sometimes from the lonely thinker’s fallacy? It happens when we work on a specific project in isolation for too long. It happens when we pursue exotic theories no one in our field can understand and therefore critique. We all do fall in love with our neat theories and favorite hypotheses. An alcoholic’s brain comes up with myriad sophisticated excuses to get a drink. Just like that, a scholar’s brain will find many reasons how to ignore rather than honestly consider criticisms or disconfirming data.

Oh yes, we all have been there, for creating new knowledge and being confronted by others is so painful. Admitting that you have missed this little thing and that little thing, and that you completely ignored this large hole in your argument, and that your data just does not say what you think it says… So painful, so necessary, so very human it is.

Mar 15, 2016

Университет и наркотики

У университета есть два способа реагирования на растущее употребление наркотиков среди студентов. Первый самый простой и потому соблазнительный – это политика полной нетерпимости (zero tolerance, “Just Say No”). Второй – более расплывчатый и аморфный путь профилактики, просвещения с использованием научно достоверных данных, полицейской борьбы с торговцами, координации всех служб университета (в первую очередь, общежитий, безопасности, академических подразделений). Сюда же входят довольно дорогие попытки наладить студенческую жизнь, сформировать позитивные группы, кружки и сообщества.

Сразу скажу, что политика полной нетерпимости не работает. Это известно и из исследований, и из моего опыта в США, где такие политики были широко распространены до недавнего времени. Психологически понятно, что есть желание вырвать заразу на корню. Администраторы думают: «Если студенты знают, что любое употребление наркотиков, даже самых легких (как марихуана) будет неотвратимо караться отчислением, то это предотвратит дальнейшее употребление». Если же проступок окажется безнаказанным, то это дает сигнал другим студентам, что немного можно.

Вроде логика кажется железной, а, тем не менее, она не работает. Почему? Вероятно студенты либо недооценивают риск быть пойманными, либо он действительно очень низкий. И поведение людей (особенно молодежи) в ситуациях с низким и высоким риском - совершенно разное. Повысить риск быть пойманным невозможно без тотальной, очень дорогой и неприемлемой политически тотальной слежки. Если же риск низкий (то есть реально раскрывается только одно из нескольких сот или даже тысяч употреблений), то студенты воспринимают систему как иррациональную, случайную, из области несчастных случаев. Небольшой риск стимулирует употребление и не оказывает никакого превентивного воздействия. Но на политику нулевой терпимости уходит много ресурсов, и вообще университетам кажется, что они сделали все, что смогли. Но это в конечном итоге самообман, страусиная позиция. Выгнать несколько студентов в год ведь не проблема. Это не трудно, в отличие от долгого и трудного влияния на молодежную культуру.

Было бы обидно, если бы российские университеты наступили на те же грабли, что и американские. Но, во всяком случае, это предмет разговора как в органах самоуправления, так и в студенческих организациях. Нельзя допускать ползучего принятия политики без эксплицитного обсуждения и без изучения чужого опыта и научных исследований.

Mar 3, 2016

Authentic Improvement: A Case for Flexible Faculty Evaluation Policies

For those who belong to the exclusive club of world-class universities, the need for publishing is a non-issue. It is something that you do – or perish as the catchphrase goes. However, for universities with strong teaching traditions, both liberal arts colleges and regional universities, the rationale is not always obvious. “We are not going to become the next Harvard anyway. And there are too man pointless publications already in the world. Why should I take time away from my students?” The short answer is that without an active scholarship agenda, one can only be successful as an undergraduate instructor, and onle for some foundational generic courses. Anything beyond that requires a clearly established scholarly agenda and a reputation. As graduate education continues to expand, it behooves universities to strengthen their scholarship output.

It is easy to make the case why we all need scholarship, but much more difficult to explain how it could be done. The barriers are many. In many teaching-centered schools, it is actually very difficult for faculty to product good quality scholarship. And this is only partially due to higher teaching loads. In social sciences, research is impossible without access to data, or the ability to gather qualitative of quantitative data. Both need time and money. The lack of high quality publications makes faculty less competitive in grant seeking activities. They just don’t have the right pedigree to be competitive, which creates a vicious cycle: The lack of funds to do good research, and no research record to get funding.

For many universities aspiring to enter the world-class club, issues are very similar, although sometimes a windfall from a government-funded excellence initiative may temporarily relieve the pressure of funding. In addition, those in non-English speaking countries experience language barriers that perhaps only Nordic universities have been able to penetrate. Yet the rest of the mix is the same – lack of skills, connections, access to data and equipment, large teaching loads. The Russian higher education represents an interesting case of distorted labor practices. As instructors are paid mostly for face-to-face encounters, faculty are very reluctant to redistribute hours within academic plans in favor of more independent work. Who is going to grade all those assignments for free? On the other hand, university leadership is suspicious that more independent work for students will just tempt professors to work less, and see additional part-time work in other universities. The confluence of such interests produces a highly inefficient lecture-centered teaching practices, with poorly paid and overworked faculty, who have no time for real research. Despite all the peculiarities, I think first-rate universities in emerging economies have a lot in common with second and third tear state schools in the developed world. Both want to move up, and both have barriers to overcome in engaging in quality research.

In this context, I would like to invite us to think about exceptions –faculty that seem to be able to break through the institutional and cultural barriers and establish themselves as leading scholars in their respective fields while working at a second-tier university. Perhaps in understanding how they are doing it, university leaders will better understand what kinds of institutional reforms are needed to move their entire institutions on the next level. The characters below are entirely fictional… And if you recognize themselves, just saying hi, and thanks. All cases are from education, because that’s what I know.

Susan is a super-engaged early childhood educator: with her professional community, with her many students, friends, family, her own and adopted children, their schools and friends, books, the news, and about anyone she meets for the first time. That incredible inflow of encounters and relations gives her the kind of dense phenomenological data that makes her an engaging author. One of leading publishers recognized her talent, and over the years she build a relationship with an editor that trusts her instincts and lets her work on anything Susan likes to work on. The editor knows well, that books will be engaging regardless of the specific topic, and people will buy them. But the books are not just popular; they have a serious scholarship dimension, and gained recognition in the scholarly community as well. Susan does not care much about grants, nor does she demand release time; she just learned to get by without those.

Michael’s strategy is somewhat similar. He writes books on literacy and has build a strong relation with a leading publisher. But his emphasis is on graduate students, who are his research laboratory. He spends enormous amount of time coaching, teaching, observing. That gives him enough materials for making generalizations about what works in literacy instruction and what does not. The publishing connection also gives him access to book tours, and an opportunity to engage with hundreds of teachers across the country, hear their stories, and receive their feedback. I don’t believe he collects data formally from them, but for the kind of practice-oriented research it is not necessary. And of course, Michael could probably show the highest Hirsh on campus.

Tony’s success is connected with an opportunity his predecessor saw and snatched. Back in 1960-s The US Federal Government sought to establish centers on Excellence in Developmental Disabilities in every state. The Feds supported them with small grants, and specifically tried to place them not in flagship or Ivy League schools, but those second-teach teaching universities. Tony was able to use the really small advantage by positioning his group as the center of expertise within the entire state, and gain national recognition. Success builds success, and he later was able to bring in very significant, highly competitive federal grants. One of the secret of his success is that his unit is somewhat independent of the University’s bureaucracies, and thus can behave as a true entrepreneurial organization, with its own small staff, its own budget, and schedule. Yet he is also very helpful to colleagues within the university’s Special Education department, and involves them in the grant-writing and projects.

What’s the moral of these stories?
  1. It is highly unlikely that faculty will all have the same strategies in building their scholarly identities so. So, be prepared for a variety of scholarly engagements, and keep tweaking your faculty evaluation and promotion policies until they are flexible enough to accommodate the diversity in academic careers. Those systems can be both flexible and rigorous.
  2. It is also unlikely that entire faculty of any university will move towards scholarship excellence all at once. Perhaps it is wise to focus on a few, break-troughs first, and make sure they gradually enlarge the orbit of influence to give opportunity to others. Or, more likely, your university already have such champions; it is only a matter of allowing them to include others. Scholarship is, as we all know, a network of ideas, practices, and individuals. One person can provide access to many, but that requires strong institutional support and encouragement, otherwise islands of excellence will remain islands. 
  3. It is important to recognize that none of the three of my heroes would be doing well at a top research university. Their scholarship does not fit well, and some were actually late bloomers. They would have been denied tenure at a highly competitive place, and would not have the freedom to pursue their interests. The second-tier universities must recognize their unique niche in the talent market, and try to specifically attract the kind of passionate, talented, self-directed people by promises of freedom and independence unobtainable at R1 schools. 
  4. All these people learned to capitalize on a specific resource. Without resources, there is no development. But those do not have to be monetary or even tangible resources. Connections, reputations, unique experiences – all of those can be used. People need help in recognizing such resources and latching on them. I will end with a story illustrating the point. Many years ago, I was talking to our Dean with a group of other young faculty. He looked at us and said – you together probably speak 7 or 8 languages, and come from four different countries. Why don’t you build your program using your strength? It just did not occur to us, but an experienced administrator should be good at spotting a resource when he sees it.
A version of this blog is published here

Feb 17, 2016

Сакральная Гипернормативность

Цикл гипернормативности нигде не начинается, как и все циклы. Просто в какой-то момент университет или другая организация начинает испытывать неудобство от того, что некий процесс непонятно как делать. Никто не хочет принимать на себя ответственность в низах, потому что а вдруг мы неправильно себе это представляем, а потом еще отвечать. В верхах напрягаются и рожают многостраничный документ. Чтобы не опозориться, берут какой-то уже существующий документ и с него берут пример. Например, название документа может быть «Правила трудоустройства студентов». Но один из первых пунктов содержит что-то вроде «Настоящий документ устанавливает правила трудоустройства студентов». То что это же козе понятно собственно из названия, никого не волнует. Наоборот, искусственность и абсурдность дают ощущение сакральности. Кто же будет уважать обычную человеческую речь?

Тоже для сакральности пишут определения понятий: «Студент это лицо обучающееся в ГБОУ ШМОУ ХМОУ…» Как если бы было в нашем языке какое-то другое определение студента. Для вескости включают священные источники – данный Регламент основан на положениях Конституции РФ, а также ФЗ 007. В соответствии с правилами сакральной нормативности документ должен быть длинным, содержать в себе массу совершенно ненужной информации – для веса. И он должен изобиловать словами типа «осуществляющий», «являющийся» или «неотъемлемый». Желательно использовать сложносочиненные и одновременно сложноподчиненные предложения с 3-4 подлежащими, чтобы только тренированный в бюрократическом языке человек мог вообще понять о чем речь. Это делается, чтобы отличить нашего человека от лоха или там студента, и лоху бросить в лицо – что же Вы, не видите, тут же ясно написано – и потом трехэтажный легализм-бюрократизм. Лох лишается равновесия и вынужден согласиться.

Это не шутки, потому что сакральная гипернормативность не только всерьез осложняет работу организации, но и продолжает формировать отношение к власти как к чему-то непрозрачному, сакральному. Этот язык подменяет источник власти – это не то, о чем мы, нормальные люди сами договорились, а что-то мистическое и непостижимое. Дискурсивные практики формируют сознание. Расчеловеченный язык провоцирует расчеловечивание отношений.

России нужна прежде всего лингвистическая революция (надеюсь за это не посадят). Надо начинать с ревизии локальных нормативных актов, которая будет включать в себя их сокращение, слияние и перевод на человеческий язык. У нас их слишком много, слишком многое регламентируется из центра, они все слишком длинные и содержат в себе массивы совершенно ненужного текста.

Нормативные акты нужны, конечно. В американских университетах принято иметь только два, иногда три свода нормативных документов. Различных регламентов и разовых соглашений больше, но они существуют только в виде веб страниц или папочек с memo, и за них отвечают подразделения, которые их ввели. Основные своды, как правило:

(1) каталог, где собраны все учебные регламенты и БУПы. Сюда же входят и очень простые, в пол-страницы правила приема, и т.д. Каталог переиздается (онлайн и часто на бумаге) каждые два-три года, и ни одна строчка в нем не может быть изменена без утверждения curriculum committee (УМК) и администрации университета (обычно провоста – проректора по учебе).

(2) Часто бывает еще Student Handbook с правилами, которые касаются поведения, процедур апелляции, прав студента. Но во многих местах все это просто входит а каталог.

(3) Для взаимоотношений с ППС и руководством есть либо устав, либо договор (если кампус профсоюзный), либо еще какой-то документ. Он включает в себя все нетехнические регламенты отношений с преподавателями.

Сведение регламентов имеет смысл, потому что ограничивает общий объем, создает единый источник официальной информации и облегчает задачу синхронизации.

На баррикады! За человеческий язык! Умрем как один!

Jan 23, 2016

Русский спор

Наблюдая вот уже почти три года за своими коллегами, и за собой, я придумал понятие «русского спора». Надо сказать, что он есть и в Америке, где прошла большая часть моей взрослой жизни. Но у нас в России, пожалуй, и чаще, и чище проявляется. Русский спор идет об абстрактных, общих принципах, правилах и решениях, формальных структурах и схемах. При этом у людей, ведущих спор, в голове имеются различные конкретные примеры и контексты общего, но они этого не осознают, предполагая, что собеседник имеет в виду то же самое. А он имеет в виду что-то другое, поэтому они никогда не могут договориться или достичь компромисса. Или наоборот, договариваются, а потом обижаются, что другой не выполняет договора.

Это на самом деле интересный феномен. Не буду тащить сюда философию или право, но эта проблема тысячелетней давности и тысячи теорий. Русский спор вырастет из совершенно законного делания договориться по принципам, чтобы потом можно было эту договоренность применять к значительному числу частных случаев. Это, теоретически, экономит время и энергию. И, кроме того, становятся видны как-бы более фундаментальные, то есть крепкие основания договоренности. Но люди упускаю из виду, что спор об общем несет в себе всегда ловушку – а именно имплицитные, никогда не озвученные разногласия по поводу того, что же конкретно имеется в виду. Очень часто разногласия в принципах совершенно не исключают согласия по конкретному примеру. И наоборот, согласие по принципам оборачивается потом разногласием по каждому конкретному поводу.

Иногда же дело заходит так далеко, что наоборот, конкретные примеры становятся символическими заменителями принципов. Так, например, часто бывает в американской политике. Любое повышение налогов, иногда совершенно разумное и необходимое, республиканцы считают своим долгом осуждать как пример чуждой им идеологии. А демократы будут бороться против любого сокращения социальных расходов, даже самого очевидно необходимого. Из принципа, якобы, а на самом деле чтоб бороться за власть. У них тоже происходит «русский спор», только в политике. У нас же – на каждом шагу, особенно с мужем или женой.

Бороться с русским спором достаточно просто, хотя и трудозатратно. Во-первых, надо все время просить собеседника привести конкретный пример той позиции, которую он отстаивает. И самому так делать. Это многое проясняет, и делает принципы более призрачными, лишает их доли реальности. Во-вторых, надо задавать самим себе мой любимый вопрос - «А какова прагматика вопроса?». То есть если мы сейчас решим так, то какие практические последствия? А если иначе, то тоже какие? То есть надо понимать, что некоторые споры вообще не имеют смысла, ибо не ведут за собой никаких практических последствий.

Вообще не люблю принципы, сущности, правила и всякие абстрактные идеи. Они, конечно необходимое зло, потому что надо же как-то упрощать реальность. Но надо их видеть тем, что они есть – простые, безмозглые инструменты, как молотки или отвертки. Попользовались, и в ящик.

Dec 19, 2015

Расползание миссии университета

В английском есть такое образное выражение mission creep, которое я довольно коряво перевел как расползание миссии. Оно пришло из армейского жаргона, и описывает ситуацию, когда военная операция с ограниченными целями постепенно дополняется новыми и новыми задачами. Например, Сомалийская операция 1992 года началась как гуманитарная, но потом расширилась до поимки главы одной из банд, и постепенным втягиванием США в гражданскую войну в Сомали. Операция бесславно закончилась в 1995 выводом американских войск.

Этот термин применяется и широко за пределами военного дела, например при описании проблем университетского управления. Некоторые быстрорастущие университеты постепенно добавляют новые и новые проекты и функции, каждый из которых в отдельности выглядит как разумное и обоснованное расширение. Например, если есть проблема во взаимоотношении с городом, хорошо бы помочь городским школам, а заодно и привлечь лучших выпускников. И отлично было бы открыть свою школу при университете. И кстати, надо войти в мир МООКов, потому что это лучшая реклама университетскому брэнду. И если присоединить к себе соседний вуз, то добавятся площади и ресурсы.

Еще раз скажу, все эти расширения – логичные и необходимые. Но на каком-то этапе расползание миссии начинает играть негативную роль, распыляя управленческие усилия, и размазывая один и тот же состав менеджеров все более тонким слоем по все более широкому полю. Если же нанять еще менеджеров, координация множества офисов и проектов тоже становится проблематичной, и затратной. Иногда возникает опасность размывания бренда, то есть никто уже не помнит о чем все-таки этот университет.

Это достаточно известная в менеджменте проблема, и она может касаться любой динамичной организации, не только университетов. Один нюанс в том, что никто не знает, когда, естественное развитие поведет за собой расползание миссии, и когда организация проходит точку убывающей отдачи. Второй нюанс в том, что нет никакого универсального способа возврата к более узкой, сфокусированной миссии. Резать всегда больнее, чем приращивать. Но в этом помогают периоды финансовых кризисов, которые позволяют сделать то, что в обычные периоды сделать невозможно. Думаю, каждый университетский лидер держит в уме отделы и проекты, которые в случае чего можно закрыть, чтобы вернуть нормальную миссию, и пройти кризис без всеобщей деморализации. Я уже писал, что экономить лучше хирургическим путем.

Nov 28, 2015

Testing people-knowledge

One of the most difficult things about adjusting to a new large and complex organization is learning who is who. Fundamentally, it is a task of building predictive models for each key person – how would she or he behave in such and such situation. One small subset of it is who can you trust. Once I had a colleague, who lied all the time. You could not trust anything she said – about anything. It is an extreme case, but it still took me a couple of months to figure that out. It is not something people put on their resumes, and you do need evidence. Another person would sabotage any project – not out of ill will, but because he so terribly ineffective and disorganized. To find that out, you need at least one failed project; as evidence. Some people are just awesome at everything they do – not many, but they do exist. I am definitely not one of them, alas. Those are the most valuable and the scarcest asset of any organization, and you can ask them to do anything – up to the point when they are overwhelmed and can do no more.

However, usually it is a lot more complicated: most people are good at something, and bad at something else. Placing them in right combinations into the right tasks – THAT is an art form. Let us call it the managerial casting. To do it, we need those mental predictive models. What will happen if we ask so-and-so-do this-and-that with such-and-such? Figuring all this stuff out takes many months, even years. And even then people are unpredictable, they get tired, get cranky, but they sometimes learn and get better at certain things. They quit drinking, find God, resign to their fate – who knows.

But I am interested in the people-learning process. What are those people-models, cognitively speaking? How do they form? How much information is needed to build one? Can it be helped? We definitely get better at this game with experience, because we recognize – oh, this person is just like someone I knew before. We assemble a cast of characters, which serves as a map for all future colleagues and acquaintances. It is quicker that way, but also vulnerable to errors, for two people may have a similar set of traits, but expressed to various degrees, and the mix can be very different.

Can we test how accurate are those models? I am thinking of a study where a manager is asked to predict how his or her colleagues will behave in certain situations. And then we can either actually check in real life (by putting people in such situations), or, easier and cheaper – administer a self-reporting survey to the people. That would be a decent test of leadership abilities; easy to do, hard to fake. I also wonder how I would score, for I have been wrong about people quite a few times. But I have not seen anyone who was very good at it either. It is an empirical question – is there some variance?

Or perhaps we can measure the size and the richness of one’s mental library of characters? I am not sure how, but perhaps by giving someone some vignettes and asking if they knew someone like that, and put those imaginary people in new situations? It could be a test without the follow-up with real colleagues, cheaper still.

Are there any adventurous researchers out there in need for a new project? I will help. Or perhaps such a test does exist already? –let me know.

Nov 20, 2015

Незакат Европы

Веллер и Латынина на разные лады говорят о нашествии мигрантов, о слабости Европы, о ее само-подрыве изнутри. В случае Веллера, «Кучка гомосексуалистов и наркоманов с асоциальными взглядами и творческими наклонностями сформулировали этику и эстетику контркультуры». В случае Латыниной, это "европейские леваки" и брюссельские бюрократы, которые ослабили Европу до того, что исламисты не успокоятся, пока не сделают «Нотр-Дам Мечетью Парижской Богоматери, пока француженки не наденут паранджу, пока в Сорбонне вместо ядерной физики не станут преподавать Коран». Обоих трудно назвать либералами, скорее наооборот, это оппозиционные консерваторы. Латынина не верит во всеобщее избирательное право, Веллер же хочет защищать традиционные ценности Европы от ее самой. Но оба блога опубликованы на Эхе Москвы, а не на сайте первого канала, поэтому мне просто обидно что порядочные, умные люди несут такой вздор и что к ним прислушиваются.

Так вот, несмотря на трогательную заботу русских писателей, великий европейский проект живет и процветает, и никакого конца или даже ослабления Европы нет в помине. Сирийские беженцы, многие из которых - хорошо образованные средний класс, через некоторое время начнут приносить пользу экономике Европы. Переварить их не представляет никакого труда. Что-то в этом роде говорит Ангела Меркель, и она, как водится, права. Эти люди бегут от исламистов не потому, что хотят воссоздать халифат в Европе, а потому что хотят от всего этого уехать. Как этого не видят Веллер и Латынина, я просто не могу понять. Или они не знают лично ни одного сирийца. Или они не видят универсальное отторжение терроризма абсолютным большинством европейских мусульман.

Проект мультикультурализма не только не провалился, но набирает силу. Собственно, терроризм сильнее в Европе, чем в Штатах, потому что европейцы несколько отстают в своих интеграционных усилиях, потому что мультикультурализм еще слаб. В долгосрочной перспективе, общества гостеприимства и толерантности намного прочнее монокультурных и закрытых. Отказ от христианства как монопольного способа организации публичного пространства – это как раз и есть начало пути в будущее, свободное от религиозной вражды. Русские консерваторы вроде наших двух героев испытывают ностальгию по Европе прошлого, которая никогда не существовала. Но почему-то им слабо представить себе Европу будущего. Просто всерьез обратите внимание на то, куда континент движется, какие цели он ставит перед собой, что написано в европейских программах и других документах. Признайте, наконец, что Европа выбрала европейские ценности не от скудоумия, а потому что большинство населения их разделяет. И потому что европейские ценности – это путь вперед, а не назад.

Если бы это была настоящая война, то потери американцев и европейцев совершенно ничтожны, и не входят никакое сравнение с цифрами, предположим, второй мировой. В их распоряжении – объединенные вооруженные сила НАТО, с которыми не может даже близко встать ни одна армия в мире, включая российскую. Уж извините за тривиальность такого наблюдения. Абсолютно никакой угрозы халифата в Европе нет, и быть не может, потому что противостояние – между маленьким радикальным движением третьего мира и объединенными державами первого мира. Ни у кого не может возникнуть подозрения, что правоохранительные органы, например Франции не в силах противостоять ничтожной кучке террористов с их жалкими самодельными бомбани и старыми калашниковыми. Нет ведь? Или этого не видно? Если видно, то кончайте пугать народ. Тем более чужими проблемами.

Nov 13, 2015

Виртуальный хомут и экономика образования будущего

Давайте наденем на детей виртуальные хомуты: чтобы пользоваться тем, чего они хотят от интернета, они должны периодически сдавать на нем же тесты. Чтобы участвовать в социальных сетях, играх, смотреть фильмы, посылать смски друзьям, и прочая – будь добр, каждый месяц продлевай свои права, демонстрируя прогресс в фактическом усвоении знаний и умений. Можешь даже сам выбрать каких – из длинного списка. Когда простые закончатся, надо все более трудные проходить. Или учись, или обратно в каменный век на месяц (ладно, не будем жестокими, на неделю). А в школу можешь и не ходить, если не хочешь. Нам ведь нужны не школы, а образованность населения.

И вот почему:

Образованцы всегда – и правильно – ратуют за увеличение расходов на образование. Но в этой постоянной борьбе мы часто забываем, что расходы эти не могут расти бесконечно. Ни одна страна мира не может себе позволить тратить на образование более 8-9 процентов ВВП (хотя РФ пока тратит около 5). Но спрос на образование и стоимость на одного учащегося - оба растут быстрее инфляции, и почти во всех странах – быстрее, чем ВВП. У этой тенденции нехороший и неясный конец.

Труд в образовании делится на две большие группы: (1) труд самих учащихся, и (2) труд педагогов и управленцев. Производительность труда учащихся невозможно радикально повысить, потому что отдача от него прямо пропорциональна затраченным усилиям. Учение без труда – вредная старая фантазия то ли Руссо, то ли всегда была. Ни разделение труда, ни использование машин здесь не помогут: человек изменяет себя сам за счет своих усилий.

Труд педагогов и управленцев в принципе можно сделать более производительным, хотя и тут есть очень серьезные пределы. Самый основной связан с тем, что образование – это, в хорошем смысле, паразит на теле человеческих отношений. Мы пока не в состоянии создать мотивацию учения для всех детей, не основанную на отношениях (хотя всегда было и есть незначительное меньшинство, не нуждающееся в конкретном учителе, или воспринимающее весь мир как своего учителя). Как выяснилось, массовое образование – не про информацию, и даже знания и умения, а про отношения. Так вот, есть жестко биологически заданные пределы числа учащихся, с которыми педагог может иметь аутентичные отношения.

Образование есть управляемое учение, то есть некоторое отделение того, что нужно знать и уметь, от того, что можно знать и уметь. Без содержания образования (curriculum), не важно как определенного, понятие образования теряет всякий смысл. Но в новых условиях надо просто по факту выделить из интернета то, что является содержанием образования, и добавить к нему мощную систему оценки знаний и умений мелкого калибра. Этой частью интернета дети могут пользоваться всегда и свободно. А вот развлекающей и социальной частью – только при определенных условиях.

Это просто попытка отвязать образование от самой дорогой ее части – личных отношений с педагогом. И привязать его к совершенно бесплатным отношениям со сверстниками и с миром массовой культуры, особенно игровой.

Nov 10, 2015

The Collaborationist's Dilemma

While quite a bit has been written about democracy and education, little is known about education in a contemporary autocratic society. Let me consider the “collaborationist's dilemma”:  Despite its recent autocratic tendencies, the Russian government carries out a significant agenda of educational modernization. If we, the liberal university types, help out, this will strengthen the ruling clique’s grip on power, because the government can show its modernization credentials. If we do not collaborate, the country’s educational system may deteriorate and the worst kinds of policies are more likely to be adopted. If we’re not there, the nationalistic and simply incompetent people will fill the void.

A similar dilemma exists in democratic societies, where one may choose to collaborate with an authority without necessarily sharing its ideology. This happens often when a party you do not support wins an electoral cycle. Locally, such authorities can be quite autocratic. Many of those working in education, faced with the dilemma while considering collaboration with a local or federal department of education. Some academics and government staff may not share all of their reformist agenda, but are ready to be a part of the process. The reasoning is very similar – if we do not help out, worse things can happen.

There should be a threshold criterion, a difference between autocratic and criminal regimes; and it may be OK to collaborate with the former, but not with the latter. I don’t know what exactly that is, but in my view, the Russian political regime is not criminal. It is autocratic and many parts of it are corrupt, but it does not seem to be criminal in a sense of Nazi or early Soviet regimes.

There may also be a difference between a technocratic collaboration and an ideological one. One may offer selective assistance, working on positive modernization agenda, while withholding assistance on ideological political tasks. Many people around me seem to be doing exactly that, to the extent possible.

Most importantly, hybrid regimes retain a possibility of peaceful transition to democracy. They are more like huge political machines a-la Richard J. Daley’s, than like the North Korean totalitarian state. The level of modernization (wealth, education, urbanization) does - in the long run - correlates positively with the likelihood of a democratic transition. Therefore in the long run, the collaborationist dilemma is not much of a dilemma: working for modernization is working for democracy. The Chinese leaders may have gotten it exactly right – first modernization, then democratization. If you reverse the order in an underdeveloped country, democracy is very likely to fail. There are exceptions, of course, but the probability of such a development is high. In fact, the failure of the first wave of Russian democracy in the 1990-s is a typical example. It did not happen in Eastern Europe, because of the wise policy of EU expansion. Russia was too big for EU to swallow, and too fragile to maintain a democratic form of government.

What works well in the long run is not always in the short run. The time horizon of a single human life makes it difficult to collaborate with an undemocratic regime, even though rationally one may believe it is the best choice. However, in education we always deal with longer perspective, much longer than one political elections cycle, and quite often, longer than a single life span. So, I guess those of us who work in education, have a little more leeway in collaborationist dilemma.

Oct 19, 2015

Современная диссертация по образованию

Современная диссертация по образованию
Общие критерии. Без чего не может быть хорошей работы
  1. Осмысленная проблема
  2. Знание зарубежной и российской литературы по проблеме
  3. Современные методы
  4. Честные, аккуратные выводы
  5. Человеческий язык  и отсутствие глупостей

Структура диссертации
Примерная структура первой главы диссертации или обобщающего доклада, если диссертация - это совокупность статей. Разные диссертации требуют разных структур.

  1. Введение. Откуда взялась идея этого исследования? Иногда хорошо привести личные или биографические причины, по которым вам интересна данная тема. Расскажите короткую историю о себе и своем опыте.
  2. Проблема. В прикладных науках обычно есть два уровня проблемы - практическая - то есть кому реально сейчас плохо или неудобно? Раньше это называлось актуальностью. Приведите цифры и факты, показывающие масштаб или оструту практической проблемы.  И второй уровень - теоретический, это формулировка того, что мы не знаем, но что нужно узнать. И если узнаем, то это продвинет нас к решению практической проблемы. Например, усиление неравенства доступа к качественному образованию - это практическая проблема. А то что мы не знаем как на это влияют социальные сети, среди прочего - уже теоретическая проблема.
  3. Ключевые понятия, если необходимо их специально определять.
  4. Цель исследования.  Используйте активные глаголы:  Цель исследования... изменить представление, интерпретировать, описать, проанализировать, оценить степень связи, и т.п. Что вы хотите, собственно, сделать? Разрушить миф? Показать что, причиной А является B?
  5. Исследовательские вопросы. Возьмите цель, и подумайте, чтобы ее добиться, на какие вопросы следует ответить? Возьмите 2-4 ключевых вопроса.
  6. Гипотеза. Что вы ожидаете найти? Какие предположения проверяете? Не забывайте о принципе фальсификации. Если вашу гипотезу нельзя опровергнуть, то у вас нет гипотезы. Менее строгий тест - если все согласны с вашей гипотезой, то наверное у вас тоже ее нет. В некоторых качественных методах обходятся без гипотезы. Но тогда надо все равно описать эвристическую рамку - догадку о том, что же происходит.
  7. Концептуальная рамка. Это способ, который вы выбрали для размышлений о проблеме. Буквально -  те ключевые понятия и теории, которые вы выбрали в качестве инструментов своих размышлений. Будьте осторожны и не используйте архаичные и лженаучные  теории.
  8. Дизайн исследования. Краткое обоснование процесса - это какого типа исследование? Почему именно на такие вопросы можно ответить вашим способом? Что вы конкретно сделали, где и какие данные добыли, и главное, почему именно так? Как потом их анализировали. Хорошо бы добавить этапы - когда что было сделано.
  9. Допущения. Попробуйте сделать эксплицитным то, что вы принимаете на веру, и не собираетесь проверять. Это не очень просто сделать, но такой раздел добавляет вашему исследованию глубину.
  10. Ограничения. Очень хорошо сразу рассказать о том, что ваша работа не делает, что вы не изучаете, в чем однобокость вашего теоретического и методологического выбора. На какие популяции могут и не могут распространяться ваши выводы. Хотя об этом можно рассказать и в выводах, или сразу после выводов.


  • Вторая глава традиционно посвящена обзору литературы, хотя ее можно и включить в состав первой вступительной главы. Хороший обзор литературы не пересказывает кто что сказал, а рисует целостную картину исследовательского поля, рассказывает историю, дает оценку состоянию вопроса.  
  • Третья глава - часто включает в себя обоснование методологии, особенно если вы пробуете что-то новое в смысле методов. Здесь же содержится более подробное описание всех исследовательских процедур.
  • Четвертая глава содержит описание результатов исследования.
  • Пятая - анализ и обсуждение результатов, выводы.


Советы диссертантам

Пишите простым, ясным, не наукообразным языком. Никогда не пользуйтесь терминами, значения которых вы не до конца понимаете. Не ссылайтесь на источники, которые не имеют прямого отношения к вашей работе. Ничего не повторяйте. Расставьте вешки по тексту, чтоб было понятно откуда и куда мы идем. Сделайте 2-3 уровня подзаголовков. Никогда не переоценивайте знаний вашего читателя, но никогда не недооценивайте его интеллект.