Слушайте подкаст First Block на Spotify, Apple Podcasts и других ваших любимых платформах для подкастов.
Загрузите шаблон планировщика проектов Anthropic. Узнать больше о том, как Ноушен поддерживает стартапы, можно на сайте notion.so/startups.
Добро пожаловать в «Первый блок» — серию передач Ноушен, в которой основатели и руководители ведущих мировых компаний рассказывают нам о многих «первых шагах» на пути к созданию стартапов. В этой серии, которую ведет наш соучредитель и операционный директор Акшай Котари, мы исследуем многочисленные взлеты и падения, с которыми сталкиваются основатели в процессе создания своих компаний, и то, чему они научились на этом пути.
Даниэла Амодеи — соучредитель и президент компании Anthropic. Anthropic — исследовательская компания, создающая надежные, интерпретируемые и управляемые системы искусственного интеллекта. Их первый продукт — Claude, ИИ-ассистент, способный решать задачи любого масштаба.
В этом эпизоде мы подробно рассмотрим:
- Важность сильной команды основателей
- Эволюция обязанностей в быстрорастущей компании
- Баланс между честностью, полезностью и безобидностью при разработке ИИ
- Как быстро меняется ИИ и его будущее
- Почему обратная связь с пользователями важна для разработки продукта
Что в этом эпизоде:
- 00:00 Введение
- 02:09 Создание компании с братом или сестрой
- 04:49 Отношения с соучредителями
- 07:33 Построение антропологии
- 11:07 Ранний найм
- 14:06 Клод 2
- 22:41 Быстрая эволюция искусственного интеллекта
- 29:16 Будущее искусственного интеллекта
- 32:32 Петля обратной связи с сообществом
- 35:54 День из жизни Даниэлы Амодеи
Полную стенограмму читайте здесь:
Стенограмма пятого эпизода
Акшай Котхари: Спасибо, что пришли.
Даниэла Амодей (01:10): Да, большое спасибо за приглашение.
Акшай Котари (01:12): Мы очень рады видеть вас в этой программе. Думаю, для начала, почему вы основали Anthropic?
Даниэла Амодеи (01:19): Ну, во-первых, спасибо, что пригласили меня. Я ждала этого всю неделю, весь месяц, так что мне очень приятно быть здесь. Почему я начал, я имею в виду, что это был не только я. У меня было шесть соучредителей, и мы все вместе работали в OpenAI и действительно чувствовали, что у нас есть возможность начать что-то свое, где мы действительно ставили безопасность в центр всей работы, которую мы делали. Мы были сплоченной командой. Мы работали над GPT3 и законами масштабирования, и мы действительно чувствовали, что наступил уникальный момент, когда мы можем пойти и построить что-то действительно с нуля, где мы сможем обеспечить безопасность и сосредоточиться на том, чтобы человек был в центре генеративного ИИ.
Акшай Котари (02:07): Уникальная особенность заключается в том, что один из ваших сооснователей — ваш брат. Не могли бы вы рассказать немного больше о том, как вам работалось с братом или сестрой?
Даниэла Амодеи (02:16): Мы с Дарио довольно необычно близки для братьев и сестер. Мы были очень близки с самого детства, и я думаю, что у нас всегда была мечта работать вместе над чем-то, но наши карьеры пошли по разным путям. Он начал с того, что стал доктором физики и начал свою карьеру с этой стороны дома, а затем перешел к работе в области биофизики, размышляя о том, как применить биофизику в здравоохранении, и в итоге перешел в сферу технологий, работал в Google Brain, а я в то же время как бы шла по другому пути — работала в сфере глобального здравоохранения. Я занимался политикой, и в итоге мы оба оказались в технологиях, но нас всегда объединяло видение того, что мы хотим сделать что-то хорошее для мира. И поэтому нам представилась особая возможность отправиться на поиски чего-то вместе.
Акшай Котари (03:19): В одном из недавних интервью вы сказали, что с самого детства чувствовали себя очень собранными. Думаю, такое нечасто услышишь, так вот, бывали ли у вас разногласия и как вы с этим справлялись?
Даниэла Амодеи (03:36): Да, я имею в виду, бывают ли у братьев и сестер разногласия? Определенно никогда. Мы никогда ни в чем не расходились. Конечно, иногда мы расходимся во мнениях, но я думаю, что мы с Дарио, опять же, необычайно едины в своем видении типа компании, которую мы хотим создать, и типа проблем, над которыми мы хотим работать. И кое-что, что, как мне кажется, делает наши отношения уникальными, особенно в Anthropic, это то, что у нас есть четко разделенные зоны ответственности на работе. Он — своего рода технический визионер и, я думаю, действительно видел, куда движется область генеративного ИИ, и я чувствую, что он часто думает о 5-10-летних временных рамках, а моя роль заключается в том, каковы временные рамки от одного до двух лет, как нам взять эти невероятные технические идеи и превратить их в нечто осязаемое, что люди могут использовать сегодня? И это не значит, что мы никогда не расходимся во мнениях, это просто означает, что есть некие сферы ответственности, благодаря которым нам немного легче быть в согласии друг с другом.
Акшай Котари (04:46): Просто разные горизонты, и это в некотором смысле очень комплиментарно.
Даниэла Амодеи (04:49): Именно, именно.
Akshay Kothari (04:50): Да, это действительно здорово. Если посмотреть на ваше последнее десятилетие, то вы работали в нескольких известных компаниях, от Stripe до OpenAI и Anthropic. Чем отличается работа в качестве сооснователя сейчас? Что в этом изменилось?
Даниэла Амодей (05:06): Это действительно забавный вопрос, потому что я думаю, что когда мы начинали Anthropic, я вроде как предполагал, что если вы сделали одну компанию с гиперростом, то вы вроде как сделали их все. Когда я начинал в Stripe, там было около 40 человек, а ушло около 1200. OpenAI была примерно такого же стартового размера — около 200 или 250 человек, и я подумал, что диапазон от нуля до 40 — это не может быть так сложно. Я вроде бы видел это раньше, но это совершенно другое. И я думаю, что, будучи основателем, вы очень быстро узнаете обо всех вещах, в которых вы не сильны, а их очень много. И во многом мне очень повезло, потому что у меня было так много соучредителей, которые шли со мной по этому пути, а часто это один человек или, может быть, два человека, и мы могли учиться все вместе. Но есть так много вещей, которые входят в самое начало создания компании. Нам нужно было разобраться в таких простых вещах, как начисление зарплаты, что мы неоднократно проделывали. Нам пришлось найти офис в центре Ковида, что было по-своему интересным путешествием, но и сбор средств, и определение того, кого мы хотим нанять, и организация начальных процессов в компании совершенно не похожи друг на друга с нуля до 40, а не с 40 и дальше.
Акшай Котари (06:23): Наверное, еще одна уникальная вещь — это то, что у вас шесть соучредителей, как это для вас? Как вы все распределяете работу, которую делаете внутри компании?
Даниэла Амодеи (06:31): Одна из особенностей этой группы основателей заключается в том, что мы все уже очень тесно работали вместе, и некоторые из этих отношений фактически существовали еще до OpenAI. В этой группе были люди, которые работали вместе в Google Research в Google Brain, и даже до этого, Дарио и Джаред, наш главный научный директор, знали друг друга по стипендии по физике за 15 лет до этого. Так что у нас было много контекста и доверия, много времени, которое мы провели вместе. Поэтому во многом, когда мы приехали на место, у нас было отличное представление о сильных и слабых сторонах друг друга. Нам было очень легко разделить работу, и по мере того, как компания расширялась, мы изменили многое из того, на чем сосредоточились. Некоторые из соучредителей по-прежнему являются руководителями, некоторые вернулись к индивидуальному вкладу, действительно высокому уровню работы. И было удивительно наблюдать за тем, как эта группа людей распространялась по всей компании и закладывала ту культуру, с которой мы начинали.
Акшай Котари (07:38): Мы говорили о том, что у вас очень широкая роль, которая распространяется на всех менеджеров компании. Не могли бы вы немного рассказать о том, как вы думаете о технической стороне исследований и в то же время много думаете о коммерческом рынке? И, возможно, третья вещь, о которой я думаю, — это фундамент, на котором вы строите компанию, как вы балансируете между этими различными областями?
Даниэла Амодеи (08:08): Это очень хороший вопрос, и он также развивается по мере развития компании. В этом есть определенный компонент, который напоминает любой стартап. Мы как бы строим пресловутый самолет, пока он взлетает. Но я думаю, что в сравнении с другими местами, где я работал, здесь есть нечто уникальное: мы действительно начали и инвестировали в исследовательскую организацию в течение первого года или полутора лет. До 2023 года у нас даже не было команды по выходу на рынок. И что самое интересное, нам почти удалось создать такую сплоченную культуру с четким набором целей, а потом мы почти повторили все сначала, верно? Мы сказали: «Хорошо, теперь, когда мы разработали эти действительно преобразующие, мощные и безопасные системы искусственного интеллекта, как мы можем вывести их на рынок в соответствии с нашими ценностями? И я думаю, что часть того, что было так невероятно в этом путешествии, заключается в том, что вы действительно строите одну часть самолета. Мы говорим: «Хорошо, теперь у нас есть основа, и теперь мы строим органы управления или крылья. И, конечно, бывают моменты, когда вы думаете: «О, Боже, эта ручка, я должен был сделать эту ручку. Я сделал ее слишком медленно. Надо было сделать другую ручку медленнее. Но в целом, я думаю, это часть радости и уникальности такого рода бизнеса — иметь возможность влиять на исследования, публиковать работы, влиять на политику, координировать свои действия с правительствами и гражданским обществом, а также быть технологическим стартапом, который создает продукт, продвигает его клиентам, видит, как технология действительно используется в мире на повседневной основе.
Акшай Котари (09:54): Есть ли у вас расписание? Как вы продумываете, если вы, скажем, на этой неделе, есть ли способ думать об этих разных вещах в разные дни или это меняется каждый квартал, каждые шесть месяцев?
Даниэла Амодеи (10:05): Ну, позвольте мне рассказать вам об идеальном дне и идеальной неделе, как бы это выглядело, а затем немного больше в реальности, у каждого свои причуды, но есть так много переключений контекста в любом виде управления или руководящей роли. Но я думаю, что для такого места, как Anthropic, это особенно важно, потому что размышления о документах по безопасности, о том, что мы публикуем, об исследованиях, которые мы развиваем, и о том, какие области мы должны изучать, действительно отличаются от попыток завоевать крупного клиента или построить интервью перед продуктом. Это совершенно разные части вашего мозга. Поэтому я обычно стараюсь, чтобы мои дни были немного согласованы, например, в понедельник я занимаюсь исследованиями, во вторник — политикой и связями, а в среду — разработкой. В реальности это, наверное, около 70 %, просто потому, что случаются собеседования, переносы и тому подобные вещи. Но это звучит немного тактично, но я думаю, что иметь немного пространства, чтобы действительно углубиться в каждую из областей, — это мечта.
Акшай Котари (11:14): Давайте поговорим немного о найме. Я думаю, это то, что очень интересует многих предпринимателей. Не могли бы вы рассказать нам о том, что у вас шесть соучредителей, и вы начинаете с этого. Не могли бы вы немного рассказать о том, как вы нанимали первых сотрудников? Как вы думали о создании команды и о процессах, которые, возможно, вы продумали?
Даниэла Амодеи (11:32): Anthropic очень необычна с точки зрения типов людей, которых мы ищем и которых мы привлекаем. У нас очень, очень междисциплинарная группа людей, и это означает, что у нас в штате есть люди, которые в своей прошлой жизни были нейробиологами или биологами, которые пришли изучать большие языковые модели так же, как они раньше изучали человеческий мозг. Кроме того, у нас есть инженеры по продуктам из таких компаний, как та, в которой я раньше работал, которые работали в Кремниевой долине и привнесли этот опыт в компанию. У нас есть политические лидеры, бизнес-лидеры и операторы. Поэтому я думаю, что на ранних этапах найма мы искали людей, которые понимали миссию компании и ее ценности и действительно воплощали их в жизнь. Они должны были помочь создать эти очень мощные преобразующие системы, сделать их доступными, справедливыми и сделать это так, чтобы было безопасно. И действительно, если говорить о людях, то в самом начале все мы делали очень много разных вещей, и только сейчас мы перешли к тому этапу, когда мы больше ищем специалистов, чем универсалов.
Акшай Котари (12:50): Изменилось ли что-нибудь с переходом от технического найма? Это похоже на первые пару исследований, это всегда интересно для меня. Я думаю, что для нас это был путь от использования наших сетей и ранних дней существования Ноушен, вероятно, почти субкультуры людей, которые действительно много думали об инструментах и ремесле в некотором смысле. А потом мы как бы превратили это в процесс. И мне интересно, прошли ли вы все через подобную эволюцию.
Даниэла Амодей (13:14): Отличный вопрос. Я думаю, что это перекликается. Звучит очень похоже. Когда мы только начинали работать в 2021 году, мы были в основном исследователями, в основном исследователями Ml/AI, а это довольно небольшая группа людей в мире, которые занимаются подобной работой. И я думаю, что это было не совсем так, но почти так — много людей, которых мы знали через расширенные сети и тому подобные вещи. Кроме того, когда вы расширяете набор вещей, которые вы делаете в компании, вы можете привлекать все больше и больше людей разных типов, и я думаю, что мы очень быстро выросли. И поэтому мне кажется, что мы прошли через эти изменения немного быстрее, быстрее, чем обычный технологический стартап.
Акшай Котари (14:11): Давайте перейдем к другой теме. Давайте поговорим о Claude 2. Поздравляю с запуском. Недавно вы говорили о нем как об ИИ-ассистенте, который обучается быть честным, безобидным и полезным. Думаю, мой вопрос к вам заключается в том, как вы обучаете модель отражать эти ценности,
Даниэла Амодей (14:31): Тот фреймворк HHH, о котором вы говорили? Полезный, честный, безвредный, мы постоянно используем ее внутри компании, верно? Мы используем ее для обсуждения эмерджентного поведения, которое мы наблюдаем в Claude, для того, как мы работаем с клиентами, для обучения, которое мы проводим для самих больших языковых моделей. Но внутри компании есть разные команды, которые в основном занимаются каждым из этих направлений. И это немного сложнее, потому что иногда команды работают над чем-то вместе или частично пересекаются, но каждая из этих задач действительно довольно сильно отличается в плане того, как мы к ним подходим. Честность, конечно, заключается в том, чтобы попытаться сократить досадные галлюцинации, большие языковые модели. Каждый LLM в мире сегодня страдает от тех или иных галлюцинаций, и задача команды честности — постараться сделать это число как можно меньше. Что касается полезности, то на самом деле мы стремимся к тому, чтобы модель отвечала на ваш вопрос.
Так что если вы с ним разговариваете или если он что-то ищет, действительно ли он делает то, что вы от него хотите? Что касается безвредности, то мы пытаемся снизить вероятность того, что он будет выдавать токсичные или необъективные результаты, но также пытаемся снизить вероятность того, что он просто поможет кому-то совершить преступление или создать контент с насилием или что-то подобное. С точки зрения исследования, интересным было то, что многие из этих качеств HHH находятся как бы между ними. Сегодня вы можете иметь совершенно безобидную, абсолютно безвредную модель, если захотите. Просто она будет не очень полезной. Она просто скажет: «Я не могу ответить на каждый вопрос, который вы ей зададите». Поэтому я думаю, что интересная задача и возможность заключается в том, как поднять водяной знак на всех них вместе.
Акшай Котари (16:18): Не могли бы вы рассказать немного больше о компромиссе? Это кажется очень интересным в том смысле, что, наверное, можно подумать и о другом: может быть, что-то очень честное, но это может быть более вредным. Не могли бы вы немного рассказать о том, как вы все думаете об этих компромиссах и как вы устанавливаете водяные знаки на все три продукта?
Даниэла Амодеи (16:36): Да, во-первых, это определенно больше искусство, чем наука, как вы можете предположить. Мы используем конституциональный искусственный интеллект, чтобы помочь поднять водяной знак на всех трех товарах вместе. Мы поручили Клоду сказать: «Вот цели. Мы хотим, чтобы вы были как можно более полезными, честными и безвредными. Но я думаю, что даже если заставить Клода быть идеально эффективной моделью, все равно придется искать компромиссы, на которые пойдет человек или компания. В зависимости от того, какие цели они ставят перед моделью, вам может понадобиться действительно творческий партнер, который будет разрабатывать более рискованные формулировки. И тогда вы, возможно, захотите немного снизить показатель безвредности, но при этом все равно должны быть какие-то ограждения. Но это зависит от конкретного бизнеса или случая использования. Так что даже модульные модели, не находясь на стадии совершенства, все равно имеют ряд компромиссов. Так что некоторое время мы действительно изучали этот компромисс между безвредностью и полезностью, но я думаю, что честность тоже играет роль. И я не думаю, что здесь есть простой ответ. И, опять же, даже если мы идеально их понимаем, возможно, ваш пробег может отличаться.
Акшай Котари (17:53): Есть ли какие-нибудь забавные истории, связанные с тренировками Клода?
Daniela Amodei (17:56): Да, много забавных историй. Я имею в виду, что даже если немного увеличить масштаб, я часто задумываюсь о том, насколько улучшились эти модели за такой короткий промежуток времени. Я руководил командой, которая делала GPT2, когда работал в OpenAI, и мне кажется, что расстояние между GPT2 и Claude 1 меньше, чем между Claude 1 и Claude 2. Кажется, что все быстро, быстро улучшилось. Но в начале обучения Клода мы, в какой-то момент, были убеждены, что лучший способ похудеть — это сесть на картофельную диету. Мы понятия не имеем, откуда это взялось. Просто он действительно зациклился на этой идее. Какое-то время Клод иногда входил в творческий режим. Так вот, я застрял в режиме дракона, а мы такие: «Я не знаю, что это такое и откуда ты это взял».
Какие еще есть хорошие варианты? Я имею в виду, было время, когда мы очень, очень настраивались на безвредность в одной из ветвей модели, с которой мы играли. И Клод был просто очень озабочен вашим благополучием, какой бы вопрос вы ему ни задали. Так что Клоду мы сказали: «Эй, ты можешь сказать мне, кто был 34-м президентом Соединенных Штатов? И это было похоже на то, что я так беспокоюсь о вас. Вот ссылка на некоторые рекомендации по терапии. Если вам нужна помощь, пожалуйста, обратитесь к другу. Так что, безусловно, в середине пути было немало сложностей, чтобы прийти к продукту, который сегодня доступен на рынке.
Акшай Котари (19:24): Я люблю картофель фри. Я собираюсь сказать своей жене, что Клод согласен с моей диетой.
Даниэла Амодеи (19:29): Весь день только картофель. Да, обычная картошка.
Акшай Котари (19:33): Весь этот аспект оценки моделей, оценки того, что делает ваш ассистент, очень сложен, и мы много боролись с этим. И еще. Я думаю, у людей разные сценарии использования. Как вы все это продумали?
Даниэла Амодеи (19:49): Да, я думаю, что это очень актуальный вопрос, особенно для генеративной ай. И я не думаю, что у нас есть идеальный ответ, но я думаю, что такая концепция настраиваемости действительно важна. И это не значит, что не должно быть каких-то, опять же, ограждений, верно? Есть некий диапазон внутри. Мы говорим: «Эй, есть уровень безвредности, который требуется в модели, или уровень честности или полезности». Но я думаю, что существует некий простор для исследования и тонкой настройки с отдельным клиентом, потому что вы можете даже вне этих рамок, вы можете просто захотеть, чтобы модель реагировала по-другому. И то, в чем Клод, как мне кажется, уникально хорош, так это в выборе такого направления. Так что если вы пытаетесь использовать ее для создания художественной литературы, вы можете сказать: «Эй, я хочу, чтобы ваш язык был более цветистым, или вы можете писать в таком тоне? А если вы пишете деловую записку, вы можете сказать: «Это технический деловой документ, пожалуйста, будьте кратки в своих ответах». И я думаю, что часть волшебства использования такого младшего помощника заключается в возможности рассказать ему, как вы хотите, чтобы он работал с вами.
Акшай Котари (21:03): Это хорошее продолжение. Я думаю, меня всегда интересовал этот вопрос, особенно у таких компаний, как Anthropic. Я имею в виду, что вы создаете эту технологию и говорите о младшем помощнике. Как вы используете Клода внутри компании? Есть ли у вас Клод следующего поколения, который уже сейчас является членом команды? Мне просто интересно узнать об этом пространстве.
Даниэла Амодеи (21:26): Я думаю, что мы нашли Клода очень полезным в Anthropic. Думаю, есть несколько способов, как мы используем его в повседневной работе. Первое — мы так быстро растем, что очень много общаемся в Slack, в частности. И я думаю, что интеграция Claude и Slack — это то, что мы сначала создали своими силами. Мы пытались синтезировать множество исследовательских дискуссий или технических обсуждений, которые происходили. Может быть, к нам приходит новый сотрудник, и он спрашивает, что произошло до того, как я пришел сюда? И Клод отлично справился с задачей обобщения огромного массива информации и выделения наиболее важных моментов. Таким образом, Клод отлично помогает поддерживать масштабирование бизнеса и масштабирование самой компании. У нас есть нечто под названием Anthropic Times — это Клод, который обобщает самые обсуждаемые темы в Slack. И если вас не было в офисе или вы просто не успеваете следить за всеми каналами Slack, вы можете просмотреть и прочитать их. Но мы используем Claude для обобщения информации на совещаниях, в заметках о встречах. Он отлично подходит для первого редактирования. Поэтому мы считаем, что нам важно самим пользоваться продуктами, прежде чем выводить их на рынок.
Акшай Котари (22:44): Я имею в виду, что искусственный интеллект сейчас на первом месте для всех. Многие основатели работают в этом пространстве в качестве основателей. Не могли бы вы немного рассказать о том, что значит создавать продукт и компанию на передовом рубеже, и о том, какие уроки вы извлекли, чему могли бы научиться другие основатели?
Даниэла Амодеи (23:04): Я был искренне поражен и впечатлен тем, как быстро развивается эта технология. И я думаю, что особенно для тех, кто собирается основать компанию, работающую на основе генеративного ИИ или использующую генеративный ИИ, я думаю, что часть, опять же, своего рода вызов, но также и возможность, заключается в том, что сами исследования и возможности моделей развиваются так быстро, что вопросы, связанные с дорожной картой продукта, являются своего рода исследовательскими вопросами уже сегодня. Клод, вы не можете рассчитывать на то, что модель никогда не будет галлюцинировать, но, возможно, в будущем вы сможете это сделать, или она пока не может интегрировать функцию X или Y, которую вы действительно хотите, но мы, вероятно, сможем исправить это через несколько месяцев или лет. И поэтому я думаю, что это почти противоположно стандартному совету основателей, когда вы выбираете что-то одно и бежите к этому и не меняете его до тех пор, пока не добьетесь именно того, что вы ищете с точки зрения соответствия продукта рынку. Я думаю, что нужно быть немного более гибким и представлять себе потенциал того, что это может сделать через шесть месяцев, — это необычный совет, но я думаю, что это то, что мы действительно нашли важным в Anthropic.
Акшай Котари (24:25): Да, это интересная задача. А еще поражает то, как быстро все меняется. И я думаю, что обратная сторона заключается в том, что вещи, которые сегодня кажутся вам действительно инновационными, завтра становятся товарными. И мне нравится ваш совет о том, что нужно думать о том, что может стать возможным, и продумывать, как этого достичь.
Даниэла Амодей (24:51): Да, иногда мы получаем вопросы о дорожной карте нашего продукта, особенно от крупных клиентов. И примерно в 80 % случаев это вопрос о дорожной карте наших исследований. Они спрашивают: «Когда вы сможете создать функцию X? А мы отвечаем: ну, когда модель сможет это сделать. Так что это, конечно, уникальный вызов.
Акшай Котари (25:10): Я думаю, поскольку все так быстро развивается, как вы думаете о том, чтобы быть первым на рынке или быть лучшим на рынке?
Даниэла Амодей (25:19): Прежде всего, я не думаю, что они противоречат друг другу. Я думаю, что мы убеждены в том, что то, что мы выпускаем на рынок, должно быть самой лучшей, качественной и безопасной моделью, которую мы в состоянии произвести. И я думаю, что у нас схожий подход к разработке наших продуктов, и мы очень сильно чувствуем, что когда мы предлагаем что-то другим, они будут зависеть от этого, верно? Если вы — стартап, средний или крупный бизнес и решились на интеграцию с нами, мы хотим, чтобы вы знали, что этот продукт и эта услуга всегда будут доступны, что они будут надежны и что мы обеспечим вам наилучшее качество по всем тем параметрам, о которых мы говорили, говоря о безопасности. И поэтому я думаю, что наша приверженность такому уровню качества нашей продукции — это то, что, вероятно, превосходит все эти вопросы.
Акшай Котари (26:22): Мы уже говорили о том, что вы с Дарио — единомышленники, но давайте поговорим о единомыслии в ИИ. Похоже, что согласованность была для вас на первом месте, когда вы создавали компанию. Не могли бы вы немного рассказать о том, как вы обеспечиваете безопасность и ответственность вашего подхода к ИИ в будущем?
Даниэла Амодеи (26:39): Это действительно важный вопрос, о котором мы много говорим в Anthropic. Недавно мы опубликовали так называемую политику ответственного масштабирования, и это, по сути, набор публичных обязательств, которые мы берем на себя в отношении того, как мы будем обучать и тестировать наши модели, а также последствий того, что мы будем делать, если у нас возникнут сомнения в их безопасности. И я думаю, что отчасти мы считаем, что очень важно рассказать об этом сейчас, потому что эти модели становятся все более мощными, все более способными. И хотя я считаю, что потенциал этих инструментов невероятно высок и выгоден, иначе мы бы их не создавали, я также думаю, что очень важно, чтобы компании и экосистема в целом несли определенную ответственность за возможные внешние эффекты, которые они могут создать. И поэтому я думаю, что обязательства по ответственному масштабированию — это одна из версий такого подхода для нас.
Акшай Котари (27:42): Можете ли вы немного рассказать о компромиссах, которые это создает, я полагаю, безопасность против возможностей модели, и особенно на фоне того, что сейчас все больше и больше компаний и даже open source стремятся к этому, это должно быть действительно интересной внутренней дискуссией, как вы все вроде как думаете об этих компромиссах.
Даниэла Амодеи (28:02): Я не думаю, что безопасность и возможности всегда должны быть в противоречии. Другой способ думать об этом — быть на границе производительности модели в целом. Вы хотите, чтобы модель вела себя безопасно, верно? Ни один клиент не будет в восторге от модели, которая галлюцинирует налево и направо или сбивается со сценария и выдает вредный контент. Поэтому я думаю, что существует сквозная линия, по которой разработка более способных систем может соответствовать миссии безопасности и целям anthropic. Однако я думаю, что есть и другие компоненты, опять же, непредвиденные последствия модели, о которых важно подумать. Создание структур вокруг или ограждений вокруг RSP решает многие из этих проблем, но я думаю, что можно легко успокоиться и сказать: «Хорошо, у нас есть эти системы, и безопасность — это хорошо для бизнеса». Но я считаю, что необходимо постоянно проводить беседы, и у нас есть разные форматы для этого внутри компании, чтобы действительно обсудить этот компромисс, о котором вы упомянули. Он не идеален, верно? Идеального способа не существует, но я думаю, что то, что этот вопрос находится на переднем плане обсуждения руководства компании, очень помогло нам.
Акшай Котари (29:25): Anthropic и Ноушен, я думаю, в некотором роде имеют общую цель — использовать ИИ, сделать людей и организации более продуктивными. Как вы думаете, через пять-десять лет люди будут использовать ИИ и Claude для выполнения своей работы?
Даниэла Амодей (29:45): Одна из вещей, которые нам нравятся в партнерстве с Ноушен, заключается в том, что я действительно думаю, что этот вид ИИ помогает повысить продуктивность и рутинизировать рутинные задачи, позволяя людям выполнять работу, для которой они лучше всего подходят. Я думаю, что это действительно общая миссия, которая объединяет нас обоих. И я должен сказать, что сегодня мы действительно описываем Клода как очень полезного младшего помощника. Он отлично справляется с подведением итогов или составлением планов действий на 5-10 лет вперед. Конечно, это трудно предугадать. Я думаю, что могу представить себе Клода в качестве гораздо более старшего помощника, который на самом деле может помогать людям во многих, многих различных секторах экономики. Мы уже видим приложения для здравоохранения, юридических услуг, климатических технологий, которые уже используют эти системы. Но я думаю, что через пять-десять лет, когда эти модели будут становиться все более совершенными, можно будет представить, что они действительно повысят общую производительность общества в целом и позволят людям заниматься творчеством. На самом деле это только наше прикосновение.
Акшай Котхари (31:04): Как он превращается из младшего помощника в старшего. Вы оптимистично настроены на то, что мы, люди, разберемся с этими быстро развивающимися технологиями? Сможем ли мы сосуществовать с ними? Ну, я думаю, люди говорят о том, что потенциально люди потеряют работу. Некоторые говорят, что на самом деле они просто будут использовать это время для более творческих задач. Судя по тому, что я услышал, кажется, что вы больше склоняетесь к последнему варианту — просто у людей будет больше времени на интересные вещи.
Даниэла Амодей (31:31): Очевидно, что это очень важная тема, и я бы даже пошла немного дальше и сказала, что это то, что, вероятно, не должно оставаться на усмотрение корпораций. Я думаю, отчасти поэтому мы так много сотрудничаем с политиками и группами гражданского общества, потому что мы действительно чувствуем ответственность за технологию, которую создаем. И я думаю, что те вещи, которые вы упомянули, мы рады сотрудничать с этими группами по этим вопросам. И я думаю, что о влиянии работы, которую мы делаем, на общество мы можем высказать свое мнение, но мы не единственные заинтересованные стороны. Мы не единственное мнение в комнате и не единственное мнение, которое имеет значение. Учитывая все вышесказанное, я считаю, что лично мне кажется, что многие из видов повышения производительности, которые, как мы надеемся, будут достигнуты, на самом деле помогут обеспечить более творческую, продуктивную и значимую работу для людей во всем мире.
Акшай Котари (32:39): Я думаю, что каждая компания прислушивается к отзывам сообщества и видит общее отношение к продукту. Не могли бы вы немного рассказать о том, как вы в Anthropic балансируете между тем, чтобы придерживаться своей интуиции, своих истоков и тем, чтобы менять курс по мере получения новой информации?
Даниэла Амодей (33:00): Одна из вещей, которую я считаю уникальной в этом типе бизнеса, заключается в том, что сама технология как бы строится вокруг нас. Я считаю, что обратная связь с сообществом и вовлеченность в процесс от наших клиентов гораздо важнее, чем в традиционном стартапе. Мы должны напрямую слышать от них, какие недостатки могут сделать продукт, который мы им предоставляем, лучше. И, конечно, есть ограничения в рамках исследований того, что мы можем сделать, но многие из этих видов обратной связи, которые мы наблюдаем, я считаю очень полезными, когда мы слышим от наших пользователей: «Было бы здорово, если бы Клод мог сделать вот это». И тогда это как бы попадает в нашу организацию, занимающуюся продуктами, и некоторые вещи они могут сделать сами. Но чаще всего это действительно становится результатом сотрудничества между исследователями и продуктом, а затем это становится чем-то, что мы отправляем нашим пользователям, мы слышим больше отзывов, и это как бы создает этот действительно ценный цикл. Опять же, мы не всегда можем предоставить все обновления, которые мы хотели бы, чтобы модель могла делать все. Но я хочу сказать, что нам также интересно и вдохновляюще слушать, как люди строят, какие повседневные проблемы, а также проблемы безопасности, с которыми они сталкиваются в реальном мире. Думаю, это помогает нам укрепить наши убеждения относительно безопасности и того, как мы строим модели.
Акшай Котари (34:26): Я полагаю, что вы получаете отзывы из разных отраслей, от разных пользователей. Есть ли у вас способ перевести их в приоритеты, чтобы определить, в какой аспект исследований вы могли бы вложить больше средств, а в какой меньше?
Даниэла Амодеи (34:48): Да. Расстановка приоритетов очень важна для нас, особенно сейчас, когда у нас очень маленькая команда. С продуктовой стороны у нас около 15 инженеров и пять продавцов, что-то вроде этого. Поэтому мы очень часто расставляем приоритеты, и это вовсе не означает, что в этом стеке нет вещей, которым мы хотели бы придать более высокий приоритет. Но поскольку мы развиваем бизнес и, надеюсь, скоро у нас будет больше людей, мы, очевидно, сможем перейти к вещам, расположенным дальше по стеку. Это сложно. Это почти как пересечение того, что имеет большое влияние, и того, что поддается решению, верно? Так что есть некоторые продукты или цели исследований, которые нам просто очень трудно достичь, и мы можем сказать: «Эй, нам нужно работать над этим в течение одного года, но мы не можем включить это в наш следующий запуск продукта». Что мы можем исправить из того, что пользователи просят сегодня, и что мы действительно можем дать им в следующий раз, когда выпустим что-то? И, конечно, невозможно сказать, правильно ли вы расставили приоритеты? Но это действительно своего рода упражнение в безжалостной расстановке приоритетов, если мы так быстро масштабируемся и если нам повезло иметь такой объем спроса, какой мы имеем.
Акшай Котхари (36:03): Хорошо, мы задаем эти два вопроса каждому гостю. И, возможно, мой первый вопрос для вас — опишите один день из вашей жизни. Как вы начинаете свой день? Какие у вас есть ритуалы?
Даниэла Амодей (36:14): Я бы очень хотела быть одной из этих удивительных людей Кремниевой долины, которые, например, каждое утро поднимаются на Эверест, а потом прилетают обратно в Сан-Франциско и начинают свой день в 6 утра. Это не моя история. Я мама. У меня двухлетний ребенок. И поэтому я не являюсь утренним человеком по умолчанию, но за последние, не знаю, пять или десять лет, я стала им. Поэтому я очень люблю вставать рано. Я занимаюсь спортом первым делом. Это просто время для меня. Это действительно помогает мне сосредоточиться, перестроить свой день, найти время для себя. А потом я обычно провожу около часа с сыном и мужем, чтобы побыть с семьей, и все равно стараюсь быть в офисе достаточно рано. И по возможности утро отлично подходит для мыслительной работы, мне кажется, что в течение дня я лучше говорю, чем думаю.
Поэтому мне гораздо проще проводить встречи во второй половине дня. Когда я на работе, я очень, очень сосредоточен на работе. Я не проверяю свой телефон, не замечаю, что происходит за стенами моего офиса. А когда я дома, я стараюсь выделить время, чтобы побыть в автономном режиме и восстановить баланс в своей жизни. Это не идеально. Бывает, что приходится прогибаться в ту или иную сторону, но многое из того, что было важно для меня, — это просто чувствовать себя человеком вне работы. Я выросла в Сан-Франциско. У меня до сих пор много друзей из разных эпох моей жизни, например, школьные друзья, которые живут здесь. И я думаю, что выделение времени для семьи, для друзей, для хобби и интересов вне работы, даже если это только узкий кусочек, очень помогает мне оставаться на земле.
Акшай Котари (37:48): Хорошо. Последний вопрос. Если бы вы написали книгу о том, что привело вас к этому моменту в вашей карьере, как бы вы ее назвали?
Даниэла Амодеи (37:56): Было очень мило с вашей стороны, что вы упредили этот вопрос для меня. На самом деле я попросила помощи у Клода. У Клода было несколько очень смешных предложений, например, «Ничего не подозревающую женщину забрасывают в кабинет руководителя». Я имею в виду, что это было очень смешно, но, пожалуй, больше всего меня зацепили такие предложения, как: «Мне нужен взрослый», «Мемуары генералиста» и «Как я сюда попала?». Все они, я думаю, действительно отражают опыт 10-летнего гиперроста, который является очень своеобразным опытом достижения трех быстрорастущих технологических компаний подряд. Но я думаю, что нечто уникальное в этом опыте и в моей карьерной траектории заключается в том, что я действительно самый универсальный специалист, который только может быть. И об этом часто не говорят как о возможности управления и лидерства. Но я действительно думаю, что в этом путешествии было много удивительного, ведь мне выпала честь поддерживать все эти разные части компании, верно? Узнавать что-то об исследованиях, что-то об инженерных разработках, о продукции, о бизнесе, об отделах управления и менеджмента. И я думаю, что история о том, как я оценил важность каждой из этих дисциплин, — это самое верное выражение того, чему я научился.
Акшай Котари (39:27): Что побудило Клода дать вам это?
Daniela Amodei (39:29): Я дала Клоду немного информации о себе и сказала: если бы вы назвали книгу об этом человеке для подкаст-интервью, что бы вы сказали? Я придумал «Мне нужен взрослый». Это был не Клод, это был я.
Акшай Котари (39:40): Даниэлла, это было так здорово. Я бы хотел, чтобы вы знали, что я мог бы продолжать еще много часов, но у вас такая богатая карьера. Спасибо, что уделили нам немного времени и поделились своей мудростью с нашей аудиторией.
Даниэла Амодей (39:53): Большое спасибо, что пригласили меня. Это действительно очень приятно. Спасибо, Акшай.