Citrini’s Hubris: When AI Becomes the Traders’ New Cocaine

Tuesday, October 20, traders from the American investment research firm Citrini published an article announcing that they had designed, with an internal research model from Anthropic, proteins capable of binding the neurotoxins found in scorpion venom.

They emphasize that they know nothing about biology — and about science in general.

  • On the same day, Anthropic released a technical report on this experiment, conducted on its own network and hardware. The biosafety safeguards of the Claude model that is commercially available had indeed blocked the traders from their first query.
  • In 64 hours, the system generated more than 318,000 protein designs and retained 180. After 31 further iterations, 211 were tested in the laboratory and 17 met the predetermined binding criteria.
  • The project, which lasted three months, cost Citrini around $200,000, including $50,000 for computing power.

The Citrini team claims to have achieved in three months and with five people what the traditional development of an antivenom would ordinarily require from specialized laboratories. The traders acknowledge that they have not put any drug on the market and have not published anything scientifically meaningful, but they still believe that “the frontier has moved.”


Comment expliquer ce prodige ?

  • Comme pour Anthropic, qui avait annoncé fin septembre la découverte par Claude d’un système enzymatique inédit à répétitions de type CRISPR, l’objectif principal de Citrini semble être de faire de la publicité.
  • À la fin de l’article, en accès ouvert, ils présentent un autre article, payant, où ils expliquent tout ce que cette « expérience » leur a appris et prodiguent les conseils en investissement que cela leur inspire.

La phrase la plus révélatrice de cette expérience est celle où les traders se félicitent que « leur invention digitale va désormais créer du travail pour des scientifiques humains ». On ne peut pas exclure que quelque chose émerge de ces travaux, puisque certaines découvertes majeures ont été faites de façon iconoclaste.

  • Il est cependant très probable que les « scientifiques » pour lesquels ces traders ont « créé du travail » eussent fait un bien meilleur usage des 200 000 dollars que Citrini a engagés dans cette « expérience ».
  • Et étant donné l’état du financement de la recherche, si Citrini y met le prix, il est probable que des chercheurs compétents finissent par travailler sur ses résultats.

L’IA aspire déjà une part démesurée du capital disponible, au détriment d’autres projets potentiellement aussi prometteurs. Ce type « d’expériences » fait peser le même risque sur l’allocation des ressources scientifiques.

  • Pendant la pandémie de Covid-19, la controverse sur l’hydroxychloroquine a ainsi poussé soignants et chercheurs à multiplier les protocoles d’essais.
  • Il est assez rapidement apparu que la molécule était probablement efficace in vitro mais inefficace in vivo.
  • La pression populaire a pourtant conduit à continuer à la tester, au détriment d’autres pistes de traitement.

Que se passerait-il si demain ce n’étaient plus des traders mais Barron Trump, le fils du président américain, qui annonce la découverte « d’une nouvelle molécule révolutionnaire » grâce à l’IA ? Trump pourrait alors contraindre des chercheurs financés par le gouvernement fédéral à consacrer leur temps et leurs ressources à « investiguer » cette molécule – au détriment d’autres travaux bien plus pertinents.