Ми перевірили власний докінг контрольними експериментами — і частина наших висновків не витримала We stress-tested our own docking with control experiments — and part of our conclusions didn't hold up Wir haben unser eigenes Docking mit Kontrollexperimenten auf die Probe gestellt — und ein Teil unserer Schlüsse hat nicht standgehalten
Коли ми завершили докінг, ми помітили дивну закономірність: у всіх трьох кандидатів найкращою виявилась одна й та сама мішень. На головній сторінці ми назвали це «цікавою деталлю». Але збіг, який виглядає занадто добре, — привід для підозри, а не для святкування. Тому ми поставили контрольні експерименти.
Що ми зробили
- Задокували в ті самі шість кишень, з тими самими параметрами, 23 довільні речовини, що не мають стосунку до наших мішеней (стероїди, тритерпеноїди, поліфеноли, цукри, поліаміни, відомі ліки), і 7 відомих інгібіторів тих самих білків.
- Повторили докінг кандидатів із чотирма різними випадковими зернами — щоб оцінити шум самого алгоритму.
- Пере-оцінили пози другою функцією оцінки (Vinardo) і задокували відомий інгібітор у кристалічну структуру, де його положення визначено експериментально.
Що виявилось
- Збіг — артефакт. У тій кишені найкращий скор мали 22 із 26 тестових молекул, а не лише наші. Вона центрована на порожнині, яку залишає велика коферментна молекула, і дає хороший скор майже будь-чому підходящого розміру.
- Скор залежить від розміру. Кореляція між скором і кількістю важких атомів — від 0,7 до 0,94 за модулем залежно від кишені. Холестерин, гідрокортизон чи симвастатин у тій кишені отримали такі самі чи кращі скори, ніж наш найкращий кандидат.
- З поправкою на розмір кандидати нічим не виділяються. Жоден із трьох не лежить помітно нижче за смугу довільних молекул того самого розміру ні в одній із шести мішеней; найбільший кандидат у більшості кишень навіть трохи гірший за очікуване.
- Відомі інгібітори в нашому боксі теж не вирізняються. Найвідоміший із них у нашій кишені не відтворив свою експериментальну позу (приблизно на 7,5–8 Å осторонь), хоча у власній кристалічній структурі відтворив її з точністю 0,96 Å. У кишені реального інгібітора наш найбільший кандидат отримав лише близько −6 ккал/моль — невиразно.
- Результат залежить від функції оцінки. Під другою функцією та сама «найкраща мішень» лишається першою лише у 11 із 26 молекул.
- Єдиний контроль, що справді вирізнявся, — молекула, кристалізована саме в цій кишені (стауроспорин у кишені AMPK). Це очікувано: саме так метод і перевіряють.
Що це означає
Раніше ми писали, що найкращий передбачений скор «на рівні схвалених ліків». Це формулювання ми прибрали: скор докінгу не можна читати як силу зв'язування, особливо порівнюючи різні мішені й молекули різного розміру. Це не означає, що речовини не діють — у традиційній та науковій літературі для них є незалежна доказова база. Це означає, що наш докінг сам цього показати не здатен.
Що змінюється
- Докінг у нашому проєкті — лише інструмент пріоритизації гіпотез. Далі кожен скор оцінюватимемо відносно контролів того ж розміру, а не за абсолютним числом.
- Вирішальний крок — незалежні лабораторні тести (ферментні й клітинні), які ми зараз узгоджуємо з кількома лабораторіями. Окремо розглядаємо додавання прямого тесту для білка, де докінг дав найпривабливіший, але, як тепер зрозуміло, оманливий результат.
- Таблиці й скрипти контрольних експериментів доступні за запитом.
When we finished the docking, we noticed an odd pattern: all three candidates had the same best-scoring target. On the homepage we called it "a curious detail". But a coincidence that looks too good is a reason for suspicion, not celebration. So we ran control experiments.
What we did
- We docked 23 unrelated molecules (steroids, triterpenoids, polyphenols, sugars, polyamines, known drugs) and 7 known inhibitors of the same proteins into the same six pockets, with identical settings.
- We repeated the candidate dockings with four different random seeds, to measure the algorithm's own noise.
- We re-scored the poses with a second scoring function (Vinardo) and docked a known inhibitor into the crystal structure where its position was determined experimentally.
What we found
- The coincidence is an artifact. In that pocket, 22 of 26 test molecules — not only ours — scored best. It is centered on a cavity left by a large coenzyme molecule, and it gives a good score to almost anything of suitable size.
- The score depends on size. The correlation between score and heavy-atom count ranges from 0.7 to 0.94 in absolute value depending on the pocket. Cholesterol, hydrocortisone or simvastatin received scores in that pocket equal to or better than our best candidate.
- After correcting for size, the candidates don't stand out. None of the three lies meaningfully below the band of random molecules of the same size on any of the six targets; the largest candidate is, in most pockets, even slightly worse than expected.
- Known inhibitors don't stand out in our box either. The best-known one failed to reproduce its experimental pose in our pocket (roughly 7.5–8 Å off), although in its own crystal structure it reproduced it to within 0.96 Å. In the real inhibitor's pocket, our largest candidate scored only about −6 kcal/mol — unremarkable.
- The result depends on the scoring function. Under the second function, the same "best target" remains first for only 11 of 26 molecules.
- The only control that genuinely stood out was a molecule crystallized in that very pocket (staurosporine in the AMPK pocket). That is expected: it's how the method is normally tested.
What this means
We previously wrote that the best predicted score was "in the range of approved drugs". We have removed that wording: a docking score cannot be read as binding strength, especially when comparing different targets and molecules of different sizes. This does not mean the substances don't work — there is independent evidence for them in the traditional and scientific literature. It means our docking cannot show that by itself.
What changes
- In our project, docking is only a tool for prioritizing hypotheses. From now on we judge every score against size-matched controls, not as an absolute number.
- The decisive step is independent lab assays (enzyme and cell-based), which we are arranging with several labs now. We are also considering a direct assay for the protein where docking gave the most attractive — but, as we now understand, misleading — result.
- Tables and scripts of the control experiments are available on request.
Als wir das Docking abgeschlossen hatten, fiel uns ein merkwürdiges Muster auf: Bei allen drei Kandidaten war dasselbe Zielprotein das beste. Auf der Startseite nannten wir das „ein interessantes Detail". Doch ein Zufall, der zu gut aussieht, ist ein Grund zum Misstrauen, nicht zum Feiern. Also haben wir Kontrollexperimente durchgeführt.
Was wir getan haben
- Wir haben 23 nicht verwandte Moleküle (Steroide, Triterpenoide, Polyphenole, Zucker, Polyamine, bekannte Arzneistoffe) und 7 bekannte Inhibitoren derselben Proteine mit identischen Einstellungen in dieselben sechs Taschen gedockt.
- Wir haben das Docking der Kandidaten mit vier verschiedenen Zufallswerten wiederholt, um das Rauschen des Algorithmus selbst zu messen.
- Wir haben die Posen mit einer zweiten Bewertungsfunktion (Vinardo) neu bewertet und einen bekannten Inhibitor in die Kristallstruktur gedockt, in der seine Position experimentell bestimmt wurde.
Was wir gefunden haben
- Das Muster ist ein Artefakt. In dieser Tasche erzielten 22 von 26 Testmolekülen — nicht nur unsere — den besten Score. Sie ist auf einen Hohlraum zentriert, den ein großes Coenzym-Molekül hinterlässt, und vergibt an fast alles passender Größe einen guten Score.
- Der Score hängt von der Größe ab. Die Korrelation zwischen Score und Zahl der Schweratome beträgt je nach Tasche betragsmäßig 0,7 bis 0,94. Cholesterin, Hydrocortison oder Simvastatin erhielten in dieser Tasche gleich gute oder bessere Scores als unser bester Kandidat.
- Nach Größenkorrektur fallen die Kandidaten nicht auf. Keiner der drei liegt bei irgendeinem der sechs Zielproteine merklich unter dem Band zufälliger Moleküle gleicher Größe; der größte Kandidat ist in den meisten Taschen sogar etwas schlechter als erwartet.
- Auch bekannte Inhibitoren fallen in unserer Box nicht auf. Der bekannteste von ihnen konnte in unserer Tasche seine experimentelle Pose nicht reproduzieren (etwa 7,5–8 Å daneben), obwohl er sie in seiner eigenen Kristallstruktur auf 0,96 Å genau reproduzierte. In der Tasche des echten Inhibitors erreichte unser größter Kandidat nur etwa −6 kcal/mol — unauffällig.
- Das Ergebnis hängt von der Bewertungsfunktion ab. Unter der zweiten Funktion bleibt dasselbe „beste Zielprotein" nur bei 11 von 26 Molekülen an erster Stelle.
- Die einzige Kontrolle, die wirklich herausstach, war ein Molekül, das genau in dieser Tasche kristallisiert wurde (Staurosporin in der AMPK-Tasche). Das ist erwartbar: So wird die Methode üblicherweise getestet.
Was das bedeutet
Wir hatten zuvor geschrieben, der beste vorhergesagte Score liege „im Bereich zugelassener Arzneimittel". Diese Formulierung haben wir entfernt: Ein Docking-Score lässt sich nicht als Bindungsstärke lesen, besonders nicht beim Vergleich verschiedener Zielproteine und unterschiedlich großer Moleküle. Das heißt nicht, dass die Substanzen nicht wirken — in der traditionellen und wissenschaftlichen Literatur gibt es unabhängige Belege für sie. Es heißt, dass unser Docking das nicht allein zeigen kann.
Was sich ändert
- Docking ist in unserem Projekt nur ein Werkzeug zur Priorisierung von Hypothesen. Künftig beurteilen wir jeden Score relativ zu größengleichen Kontrollen, nicht als absolute Zahl.
- Der entscheidende Schritt sind unabhängige Labortests (enzym- und zellbasiert), die wir gerade mit mehreren Laboren abstimmen. Außerdem erwägen wir einen direkten Test für das Protein, bei dem das Docking das attraktivste — aber, wie wir jetzt verstehen, irreführende — Ergebnis lieferte.
- Tabellen und Skripte der Kontrollexperimente sind auf Anfrage verfügbar.