À l’heure actuelle, les outils fondés sur l’intelligence artificielle ne fonctionnent qu’avec une poignée de langues. Améliorer la technologie pourrait changer ...
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
Ensuite effectivement on peut le faire tourner en inférence sur des plus petites infra. Mon commentaire était surtout par rapport au fait que ça met du pognon de dingue maintenant. C’est la course pour être premier, mais aussi la course avec le temps à mon avis, il va aussi y avoir un pb d’eau avec les datacenter.
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
On fasse une équivalence CO2 <->kWh: l’entraînement de ces modèles n’émettent pas de CO2. Ils consomment de l’électricité. Ils peuvent être intermittents au besoin. On les fout en Norvège, leur bilan carbone est nul. Certains datacenters équipés de panneaux solaires se vantent d’une perf écologique de 0 CO2/Wh. Je suis pas allé voir si c’était des conneries mais c’est au moins techniquement possible à terme et on va y venir.
Même en faisant cette équivalence CO2<->kWh, on ne se rende pas compte que c’est équivalent à un seul vol international. La première conférence de recherche, le premier concert, une seule des 206 équipes attendues pour les JOs consomme autant. Il y avait récemment une carte des jets privés qui s’envolaient après le superbowl aux US. 15 minutes de ce traffic inutile émet plus que la recherche en IA pendant un an (et, rappelons le 1., selon une métrique à charge).
On ne se rende pas compte que chaque modèle ouvert permet de ne plus avoir que du fine-tuning à faire, beaucoup moins coûteux.
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
Mais là tu me ressors le même genre d’argument que “ouais mais regardez la Chine”, si tu veux hein, mais c’est pas du tout ce que je disais 🙂
Donc je vais clarifier ce que je voulais dire. En ce moment c’est la course à l’entrainement pour différentes raisons (économique, avancé technologique, etc…), mais peut être que plus tard (d’ici 10-20 ans), ça deviendra plus compliqué de faire ce genre de choses pour différentes raisons:
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Ben oui, à terme nos process seront soit trop couteux en ressources non-renouvelables soit devoir n’utiliser que des ressource renouvelables. Et il semble quand même clair que c’est la deuxième hypothèse qui est vraie dans ce cas.
enfin je voulais dire… il faut de l’eau 😅
L’eau n’a pas à être potable, elle n’a pas à être “consommée” (dans certain endroits elle est injectée dans le réseau de chaleur), elle reste potable si elle l’était. Mais en fait les énergies et volume d’eau en jeu sont tellement petits qu’il vaut mieux dépenser de l’énergie et du labeur à d’autres économies. En un an, tous les datacenters Google (c’est à dire aussi Youtube, leur moteur de recherche, de pub, pas que leurs labos d’IA) consomment moins de 2% de l’eau consommée par une journée aux US. Microsoft (qui fournit les datacenters pour OpenAI et Mistral) c’est encore moins. Et on n’est pas obligés de refroidir à l’eau hein. On peut aussi refroidir à l’air (clim) si on a une énergie décarbonée abondante.
Et où ça je parle de la Chine? Je parle surtout des US qui ont un mix élec pas terrible et beaucoup de datacenters. Les foutre en Norvège par exemple où le refroidissement est plus facile et l’électricité décarbonée (et l’eau abondante mais c’est tellement pas un problème) amènerait leur empreinte carbone à zéro voire à moins si un imagine qu’on les utilise pour du chauffage de ville.
il faut de l’eau pour produire les GPU
Eau qui, je le rappelle, est une ressource renouvelable. La question n’est pas de savoir quel volume on consomme au total mais quel portion on prélève dans le cycle. Je ne connais pas toutes les usines du monde mais je sais que celle de STM à Grenoble prélève dans l’Isère (ou le Drac je sais plus) de l’eau non potable mais que de toutes façons il leur faut de l’eau hyper-pure: l’eau potable est trop sale pour leurs process. Donc ils prélèvent une eau qui part vers la mer, la purifient, l’utilisent et la rejette. Le sujet éventuel n’est pas la conso d’eau, mais la présence de rejets. Ton article dit même que Intel prétend être “water-positive” en recyclant leur eau et, je suppose, fournissant une source supplémentaire d’eau potable.
il faut des terres rares, dont la majorité est en Chine
Il faut vraiment que je me fasse un copypasta sur cet argument qui revient tout le temps. Oui il faut des terres «rares», qui ne sont pas rares, et qui sont produites en Chine parce que la main d’oeuvre est pas chère et les contraintes environnementales inexistantes, et que c’est ce que toute denrée soumise à la compétition internationale va causer. Le problème des terres rares c’est le capitalisme. Le cobalt n’a pas besoin d’être recueilli par des esclaves de 12 ans au milieu d’un désastre écologique pour avoir ses propriétés intéressantes. On pourrait le “miner” (en général pour les terres rares c’est plutôt des impuretés qu’on sépare d’autres minerais exploités) en France pour 4 fois plus cher, ça ferait monter de 1 ou 2% le prix de l’élec. On pourrait se le permettre. Et c’est pas rare, on n’en manque pas. Source: USGS qui produit tous les ans des rapport des réserves de la plupart des minerais utilisés industriellement.
La Chine réduit l’exportation
De matériel destiné à l’exploitation des terres rares. Ils boudent parce qu’on leur a restreint l’accès aux machines pour faire des CPU/GPU alors ils cherchent des trucs stratégiques à limiter aussi. Désolé mais les aimants (dont parle l’article) on sait en faire avec d’autres technos et on sait s’en passer si ça devient critique.
La pénurie d’eau et des ressources augmentent les tensions, avec un risque d’effondrement
De mémoire le modèle World3 (du club de Rome) ne parle pas d’eau potable, ne parle pas de tensions géopolitiques. J’adore les discussions sur les modèles prédictifs du monde, qu’ils soient macro ou micro, climatiques, économiques ou autre, mais faut pas non plus faire dire à un modèle ce qu’il ne dit pas. Et World3 on en parlait beaucoup parce qu’il prédisait une croissance à peu près continue jusqu’à un effondrement soudain. Problème: on a produit plus que ce qu’ils avaient prévu et le déclin, bah il aurait du commencer entre 2015 et 2020 même sans ça. Ça fait d’ailleurs quelques années qu’on en parle beaucoup moins. C’est un modèle d’épuisement de ressource non-renouvelables qui suppose que toute activité dépend d’elles, qu’il n’y a pas d’alternatives, hypothèses qui ne se vérifient pas aussi complètement qu’ils le pensaient.
Jancovici parle régulièrement de Limits to Growth, Arhur Keller ici, pas forcément de pénurie d’eau, mais par exemple de pénurie de cuivre, à cause de la demande accrue pour la transition énergétique, ou bien du sable de construction.
Décidemment, chaque fois qu’il est cité, Janco baisse dans mon estime. Le problème de World3 c’est qu’on peut le coller à n’importe quelle quantité en croissance et prédire un effondrement un peu quand on veut. Sa valeur predictive est nulle. Il dit un truc qu’on sait déjà: quand un truc est en quantité limitée, à un moment, y en a plus. Et quand tu peux pas t’en passer, c’est la merde. Il ne permet ni d’anticiper la date des problèmes ni leur amplitude.
Donc on passe du CO2 à l’eau et les terres rares puis au cuivre. Décidément, chaque fois qu’on examine un problème de près, il fond comme la banquise arctique…
Le cuivre n’est pas problématique: on a 40 ans de réserves connues, plus 80 ans de réserves identifiées, plus 140 ans de réserves probables, et ça ne compte que ce qui est exploitable à peu près économiquement, avec les technos actuelles.
Sur les tensions, je suis allé voir car c’est une chose que j’ai jamais regardé dans leur rapport, vu qu’ils sont avant tout climatologues. Bon ben qu’y lit-on? Que le changement climatique aura un impact faible sur les conflits violents et les migrations, qui seront avant tout causés par de bien plus importants facteurs socio-économiques.
Que l’accès à une eau potable et saine dépend plus des infrastructures que des ressources hydrique, vu que les régions qui ont le moins d’accès à l’eau potable en ont en fait beaucoup.
Donc bon, on est partis bien loin du sujet initial. Je vais continuer à jouer avec mes modèles d’IA, s’ils ont 1 chance sur 100 d’améliorer de 5% la gestion d’un pays, ils auront largement compensé leurs externalités.
La fresque n’est pas une production du GIEC hein. C’est un outil très critiqué par ailleurs que j’ai pas trop regardé en détails, mais qui a l’air de simplifier à outrance. Le rapport du GIEC est là. Ok pour les experts non-climatologue, je ne savais pas.
Le GIEC ne voit un impact du changement climatique sur les conflits (avec une confiance faible) que dans un cas de figure: changements très sévères et adaptations minimales. Il disent à plusieurs endroits que le climat est pas la cause de conflits aujourd’hui, que le manque de ressources l’est mais que les manques causés par une mauvaise gouvernance sont bien plus importants et les enlever compenseraient largement l’impact faible qu’ils peuvent estimer.
Sérieux, on peut pas parler d’un sujet sans que tout revienne à “Annnh tu utilises de l’électricité!” ? L’électricité on sait la faire de façon renouvelable avec des choses qui ne demandent que de l’électricité et des ressources renouvelables à produire.
tu fais de l’inférence sur ton GPU, pas de l’entrainement. Tu sous-estimes les besoins pour entrainer un algo type ChatGPT.
Ensuite effectivement on peut le faire tourner en inférence sur des plus petites infra. Mon commentaire était surtout par rapport au fait que ça met du pognon de dingue maintenant. C’est la course pour être premier, mais aussi la course avec le temps à mon avis, il va aussi y avoir un pb d’eau avec les datacenter.
Oui je sais. Je bosse dans le domaine, je connais la problématique et ça me fait soupirer à chaque fois qu’on confond inférence et entraînement. Mais aussi que:
Et, non, les datacenters ne posent pas de problème d’eau. Ils produisent de l’eau chaude qu’on peut injecter dans des réseaux de chaleur. Mais je pense que trop de gens buggent si on se met à expliquer que les datacenters ont une empreinte carbone négative du coup.
enfin je voulais dire… il faut de l’eau 😅
Mais là tu me ressors le même genre d’argument que “ouais mais regardez la Chine”, si tu veux hein, mais c’est pas du tout ce que je disais 🙂
Donc je vais clarifier ce que je voulais dire. En ce moment c’est la course à l’entrainement pour différentes raisons (économique, avancé technologique, etc…), mais peut être que plus tard (d’ici 10-20 ans), ça deviendra plus compliqué de faire ce genre de choses pour différentes raisons:
Donc au delà de la consommation en énergie et en eau des datacenters, peut être que plus tard ça ne sera juste plus possible de faire tout ça si ça coûte trop cher en ressource.
Ben oui, à terme nos process seront soit trop couteux en ressources non-renouvelables soit devoir n’utiliser que des ressource renouvelables. Et il semble quand même clair que c’est la deuxième hypothèse qui est vraie dans ce cas.
L’eau n’a pas à être potable, elle n’a pas à être “consommée” (dans certain endroits elle est injectée dans le réseau de chaleur), elle reste potable si elle l’était. Mais en fait les énergies et volume d’eau en jeu sont tellement petits qu’il vaut mieux dépenser de l’énergie et du labeur à d’autres économies. En un an, tous les datacenters Google (c’est à dire aussi Youtube, leur moteur de recherche, de pub, pas que leurs labos d’IA) consomment moins de 2% de l’eau consommée par une journée aux US. Microsoft (qui fournit les datacenters pour OpenAI et Mistral) c’est encore moins. Et on n’est pas obligés de refroidir à l’eau hein. On peut aussi refroidir à l’air (clim) si on a une énergie décarbonée abondante.
Et où ça je parle de la Chine? Je parle surtout des US qui ont un mix élec pas terrible et beaucoup de datacenters. Les foutre en Norvège par exemple où le refroidissement est plus facile et l’électricité décarbonée (et l’eau abondante mais c’est tellement pas un problème) amènerait leur empreinte carbone à zéro voire à moins si un imagine qu’on les utilise pour du chauffage de ville.
Eau qui, je le rappelle, est une ressource renouvelable. La question n’est pas de savoir quel volume on consomme au total mais quel portion on prélève dans le cycle. Je ne connais pas toutes les usines du monde mais je sais que celle de STM à Grenoble prélève dans l’Isère (ou le Drac je sais plus) de l’eau non potable mais que de toutes façons il leur faut de l’eau hyper-pure: l’eau potable est trop sale pour leurs process. Donc ils prélèvent une eau qui part vers la mer, la purifient, l’utilisent et la rejette. Le sujet éventuel n’est pas la conso d’eau, mais la présence de rejets. Ton article dit même que Intel prétend être “water-positive” en recyclant leur eau et, je suppose, fournissant une source supplémentaire d’eau potable.
Il faut vraiment que je me fasse un copypasta sur cet argument qui revient tout le temps. Oui il faut des terres «rares», qui ne sont pas rares, et qui sont produites en Chine parce que la main d’oeuvre est pas chère et les contraintes environnementales inexistantes, et que c’est ce que toute denrée soumise à la compétition internationale va causer. Le problème des terres rares c’est le capitalisme. Le cobalt n’a pas besoin d’être recueilli par des esclaves de 12 ans au milieu d’un désastre écologique pour avoir ses propriétés intéressantes. On pourrait le “miner” (en général pour les terres rares c’est plutôt des impuretés qu’on sépare d’autres minerais exploités) en France pour 4 fois plus cher, ça ferait monter de 1 ou 2% le prix de l’élec. On pourrait se le permettre. Et c’est pas rare, on n’en manque pas. Source: USGS qui produit tous les ans des rapport des réserves de la plupart des minerais utilisés industriellement.
De matériel destiné à l’exploitation des terres rares. Ils boudent parce qu’on leur a restreint l’accès aux machines pour faire des CPU/GPU alors ils cherchent des trucs stratégiques à limiter aussi. Désolé mais les aimants (dont parle l’article) on sait en faire avec d’autres technos et on sait s’en passer si ça devient critique.
De mémoire le modèle World3 (du club de Rome) ne parle pas d’eau potable, ne parle pas de tensions géopolitiques. J’adore les discussions sur les modèles prédictifs du monde, qu’ils soient macro ou micro, climatiques, économiques ou autre, mais faut pas non plus faire dire à un modèle ce qu’il ne dit pas. Et World3 on en parlait beaucoup parce qu’il prédisait une croissance à peu près continue jusqu’à un effondrement soudain. Problème: on a produit plus que ce qu’ils avaient prévu et le déclin, bah il aurait du commencer entre 2015 et 2020 même sans ça. Ça fait d’ailleurs quelques années qu’on en parle beaucoup moins. C’est un modèle d’épuisement de ressource non-renouvelables qui suppose que toute activité dépend d’elles, qu’il n’y a pas d’alternatives, hypothèses qui ne se vérifient pas aussi complètement qu’ils le pensaient.
Jancovici parle régulièrement de Limits to Growth, Arhur Keller ici, pas forcément de pénurie d’eau, mais par exemple de pénurie de cuivre, à cause de la demande accrue pour la transition énergétique, ou bien du sable de construction.
Concernant le cuivre, le Chili a déjà des problèmes de production lié aux ressources en eau (autre lien), et la quantité de cuivre est également limitée, on verra si on arrive au bout dans les 30 prochaines années.
Même si le modèle World3 est vieux, il reste toujours d’actualité et les recherches continuent.
Les tensions géopolitiques, ça vient du rapport du GIEC, mis en forme dans un atelier pédagogique qui s’appelle La fresque du climat.
Les différents liens sont ici.
Décidemment, chaque fois qu’il est cité, Janco baisse dans mon estime. Le problème de World3 c’est qu’on peut le coller à n’importe quelle quantité en croissance et prédire un effondrement un peu quand on veut. Sa valeur predictive est nulle. Il dit un truc qu’on sait déjà: quand un truc est en quantité limitée, à un moment, y en a plus. Et quand tu peux pas t’en passer, c’est la merde. Il ne permet ni d’anticiper la date des problèmes ni leur amplitude.
Donc on passe du CO2 à l’eau et les terres rares puis au cuivre. Décidément, chaque fois qu’on examine un problème de près, il fond comme la banquise arctique…
Le cuivre n’est pas problématique: on a 40 ans de réserves connues, plus 80 ans de réserves identifiées, plus 140 ans de réserves probables, et ça ne compte que ce qui est exploitable à peu près économiquement, avec les technos actuelles.
Sur les tensions, je suis allé voir car c’est une chose que j’ai jamais regardé dans leur rapport, vu qu’ils sont avant tout climatologues. Bon ben qu’y lit-on? Que le changement climatique aura un impact faible sur les conflits violents et les migrations, qui seront avant tout causés par de bien plus importants facteurs socio-économiques.
Que l’accès à une eau potable et saine dépend plus des infrastructures que des ressources hydrique, vu que les régions qui ont le moins d’accès à l’eau potable en ont en fait beaucoup.
Donc bon, on est partis bien loin du sujet initial. Je vais continuer à jouer avec mes modèles d’IA, s’ils ont 1 chance sur 100 d’améliorer de 5% la gestion d’un pays, ils auront largement compensé leurs externalités.
heh, parce que c’est lié tout ça 🙂
planète qui chauffe, moins d’eau, migration, guerre.
C’est pas le cas. Jancovici avait fait une petite explication ici. Le groupe 1 est très certainement composé de climatologues, mais ce n’est pas vraiment le cas du groupe 2 et 3.
2 exemples: François Gemenne et Yamina Saheb.
C’est la dernière carte de la fresque.
La fresque n’est pas une production du GIEC hein. C’est un outil très critiqué par ailleurs que j’ai pas trop regardé en détails, mais qui a l’air de simplifier à outrance. Le rapport du GIEC est là. Ok pour les experts non-climatologue, je ne savais pas.
Le GIEC ne voit un impact du changement climatique sur les conflits (avec une confiance faible) que dans un cas de figure: changements très sévères et adaptations minimales. Il disent à plusieurs endroits que le climat est pas la cause de conflits aujourd’hui, que le manque de ressources l’est mais que les manques causés par une mauvaise gouvernance sont bien plus importants et les enlever compenseraient largement l’impact faible qu’ils peuvent estimer.