415
Встречи, которые начались как обсуждение цепочек Юдковского, а сейчас мы читаем CAUSALITY Models, Reasoning, and Inference Джуды Пирла
8."As an intuition pump, imagine a company that is run entirely by A/B tests for metrics that can be easily checked. This company would burn every resource it couldn’t measure — its code would become unmaintainable, its other infrastructure would crumble, it would use up goodwill with customers, it would make no research progress, it would become unable to hire, it would get on the wrong side of regulators…"
Q: really? ok. but why? And why are we talking about a/b tests in this metaphor? they represents what?
9. " if we consider continuity of behavior rather than continuity in the space of policies, "
Q: what is the difference exactly?
10. "First it figures out what’s true, and then it strategically decides what to say in light of that. It would be a bit cheaper just to actually report what’s true, "
Q: like we have the one and only way to "say what's true". But we don't. I mean .. oh. seriously? How do you answer "how are you?" then?
11. "write out the proof that there is no solution, and then sift through the proof looking for a fatal hole."
Q: but doesn't this ignore the other possibilities of why something is not possible?
🕗 Напоминание: встреча начнётся на Discord-сервере через 15 минут.
Читать полностью…
В понедельник, 19.02 в 20:00 MSK мы продолжаем/завершаем обсуждение эссе из цепочки Alignment and Agency (два эссе одновременно вошли в несколько цепочек и мы их уже обсудили ранее):
The ground of optimization (Alex Flint)
Inner Alignment: Explain like I'm 12 Edition (Rafael Harth)
Inaccessible information (paulfchristiano)
AGI safety from first principles: Introduction (Richard_Ngo)
(Для желающих увидеть "что дальше", цепочка "AGI safety from first principles" целиком.)
Встреча пройдёт на Discord-сервере.
Традиционно, приглашаются все по какой-либо причине заинтересованные в этих текстах и идеях в них изложенных.
Да, предполагал в 22:00 Мск.
Читать полностью…
Там есть душная часть где он про нуклеотиды объясняет, я не оч понял
Читать полностью…
Дамы и господа,
есть консёрн, что на встречу может никто не прийти. Пожалуйста, лайкните это сообщение, если вы придёте с вероятностью более 50%.
На этой неделе предлагаю продолжить чтение книги Хлопок одной ладонью. Как неживая природа породила человеческий разум Николая Кукушкина завтра, в среду, 14 февраля, и в пятницу, 16 февраля.
Читать полностью…
В понедельник, 12.02 в 20:00 MSK мы переходим к цепочке Alignment and Agency:
An Orthodox Case Against Utility Functions (abramdemski)
[Ссылка-напоминание: что такое функции полезности вообще.]
The Pointers Problem (johnswentworth)
Alignment By Default (johnswentworth)
An overview of 11 proposals for building safe advanced AI (evhub)
(Обзор длинный, но достаточно однородный чтобы не считать его за два эссе.)
Встреча пройдёт на Discord-сервере.
Традиционно, приглашаются все по какой-либо причине заинтересованные в этих текстах и идеях в них изложенных.
Готовность 10 минут. Место встречи - Discord.
Читать полностью…
Да.
(Желательно не делать там чего-то, после чего я увижу уведомление о принудительном закрытии группы от админов Discord, а в остальном это пространство для чтения и обсуждений, его можно использовать для чтения и обсуждений.)
Предлагаю продолжить чтение завтра, 9 февраля, в 22:00 Мск
Читать полностью…
Это про сегодняшний день?
Читать полностью…
На последней встрече на afterparty мы читали начало Хлопок одной ладонью. Как неживая природа породила человеческий разум Николая Кукшкина. На мой взгляд, получилось интересно и познавательно. А что если продолжить чтение? Я готов читать. @Obater Сможете ли вы присоединиться для ответов на возникающие вопросы/комментариев?
Читать полностью…
мне пришло в голову, что может быть небезинтересным выложить мои вопросы по 1 из сегодняшних эссе сюда. Поздновато но все же:
notes on Inaccessible information:
1. "I’ll say that information is accessible if it’s in the smallest set of information that is closed under those two mechanisms:
- we can check it
- it is a generalization transfer
, and inaccessible otherwise"
Q: How can smthng be closed under this?
2. "I’m not worried about scientific hypotheses in particular, because they are usually extremely simple. I’m much more scared of analogous situations that we think of as intuition"
Q: Isn't the complexity "located' in a funny place in the second option? And aren't laws of physics relay on complexity of basic world machinery underling everything we are aware of?
3. Q: what is " strategy-stealing:"?
4. "for every strategy A that an AI could pursue to bring about some arbitrary outcome, is there a strategy A* that would help humans get what we want over the long term, without leaving us at a competitive disadvantage over the short term?"
Q: how does it help? What is A*?
5. "if we train our model to (i) correctly provides accessible info, (ii) says something consistent and plausible about inaccessible info..."
Q: ... we get something consistent and plausible about inaccessible info and no guaranties of its correctness? I mean isn't it exactly what happened with that mechanical arm and the ball?
6. "BAD is the model that performs a simple substitution — when you ask it question Q, it replaces it with the meta question “What answer to question Q will make the person training me happiest?” By definition, this new question is also accessible, so it can be posed to M."
Q: By definition of what? BAD? Now, wait, how a question can be accessible in this sense? Paul means "We know what is a substitution", right?
7. "We care intrinsically about what happens inside people’s heads (and inside computers), not just outward appearances."
Q: Isn't that instrumental (cos it's much more difficult to make predictions otherwise)
Пардон, что вне контекста и дико запоздалый комментарий. Есть два нюанса.
Субъект может мыслить свое существование по разному. Он может не верить, что его субъектность не заканчивается со смертью физического тела. И соответственно считать смерть (в вашем понимании) как минимум нейтральной: викинг скажет, что достойная смерть - хорошо, недостойная - плохо. Кажется, что представители авраамических религий и те, кто верит в догмат о перерождении вообще не могут помыслить смерть субъекта (рай, просветление и ниббана не равно атеистическое небытие). Хотя тут ещё появляется различение субъектности/возможности-действия и существования/возможности является-свидетелем/наблюдать, но оставим это.
Поэтому в аргументе: "если у субъекта есть ценности, то по определению для него будет значима ценность его субъектности, т.к. только через это условие он и может следовать этим ценностям, и ее потеря (смерть) - однозначно плохое событие" нужно учитывать космогонию/общую-карту субъекта.
С другой стороны, можно взять случай Христа (представив, что он имел место быть) и предположить, что он был как минимум агностиком, но дико болел за количество последователей его учения. И то, что он вернулся в город и по сути позволил себя распять было разумным выбором. Тогда можно будет рассудить, что ставка на этот ход сыграла и подобное событие привлекло больше верующих и т.д.
Или взять Навального (у которого образ для меня похожий), то человек сделал ход вернутся и скорее всего помыслил себе возможные исходы. Но все таки решил, что его ценность лучше оптимизирует его возвращение и связанные с ним страдания/смерть, чем другие возможные ходы. И возможно, это действительно будет так.
Т.е. здесь потеря субъектности (не сама по себе, а в рамках выгодного хода) - оптимизирует ценность лучше.
И здесь мне кажется вскрывается важный нюанс вашего аргумента - контроль над оптимизацией ценности важен и поэтому субъекту важно не терять субъектность (возможность автономно действовать).
Но мы можем помыслить ходы, которые будут оптимизировать ценность лучше, чем продолжение существования (продолжение обладания субъектностью).
Таким образом, важно учитывать как общую картину мира субъекта, так и важность контроля в сравнении со значимостью исходов, где этот контроль теряется.
Готовность - 2 минуты.
Читать полностью…
Следующая встреча для чтения книги Хлопок одной ладонью. Как неживая природа породила человеческий разум Николая Кукушкина будет завтра, в пятницу, 16 февраля. Предполагаемое время начала - 20:00 Мск.
Читать полностью…
Если не ошибаюсь, дочитали Фотозинтез, и остановились перед Турбина на шарике
Читать полностью…
А мы в 22:00 начинаем сегодня?
Читать полностью…
А до куда вы ранее дочитали?
Читать полностью…
Предполагаемое время начала - 22:00 Мск
Читать полностью…
🕗 Напоминание: встреча начнётся на Discord-сервере через 5-10 минут.
Читать полностью…
друзья, может кого-то интересует вот эта книжеца и он хочет присоединиться к ридингу на следующей неделе?
Читать полностью…
Какой то налёт спамеров прям.
Читать полностью…
Кстати, можно ли использовать Discord этого клуба для встречи? @Ahudey @slavameriton
Читать полностью…
@Obater В какое время обычно удобно вам?
Читать полностью…
Если удастся в назначенный промежуток, то да, как читать, так и отвечать.
Читать полностью…
пытаюсь закрыть нишу отсутствия записей собой
upd 100 рублей на записи уже собрано! ещё 900 и я начинаю записывать всё время!